Как в деревне, так и в ее окрестностях сохранилось множество культурно-исторических памятников.

Особенно примечательна находящаяся в центральной части деревни на мысообразном холме и возвышающаяся над окружающей местностью церковь Сурб Аствацацин. Построена она из груботесаных камней и представляет собой трехнефную базилику, на стенах которой есть лапидарные надписи XVIII–XIX веков, а также тайнописи. В северной части деревни сохранились развалины церкви Сурб Минас (1659 г.).

К югу от Гюлистана, на расстоянии 1.5 км, на берегу правого притока реки Инджа сохранились полуразрушенные сооружения монастыря Сурб Аменапркич. Архитектурный комплекс состоит из церкви, часовни и кладбища. Все сооружения построены из грубых и необработанных камней. Отесаны только дверные проемы, тимпаны окон, внутренние колонны и сводчатые перекрытия. Церковь монастыря — трехнефная базилика, молельный зад которой опирается на две колонны. Единственный вход с юга. В стены церкви снаружи вставлено несколько хачкаров. На сравнительно больших облицовочных камнях изваяны кресты и краткие душевные эпиграфические надписи. Все надписи на армянском языке и относятся к XVI–XVII векам. Характерные для данного периода архитектурные и конструктивные особенности имеет как церковь, так и находящаяся к юго-востоку от нее однонефная небольшая часовня.

На реке Инджа, на пути от деревни к храму Аменапркич, можно увидеть развалины однопролетного моста со строительными и стилевыми особенностями, присущими XVII–XVIII векам. На обоих берегах реки сохранились только массивные опоры моста.

К юго-западу от Гюлистана, на левом склоне горы у реки, просматриваются следы обширного поселения, а также развалины древнего кладбища и церкви Кармир Екехеци.

Несомненно, что из памятников, сохранившихся в деревне Гюлистан и ее окрестностях, особо выделяется Гюлистанская крепость. Она находится к югу от деревни на расстоянии 5 км и гордо возвышается на вершине труднодоступной горы. Крепость гармонично вписалась в окружающий ландшафт. Длина ее 237 м, ширина 35 м, а крепостные стены сохранились от 3 до 10 м высотой. В полуразрушенном состоянии находятся как крепостные стены, укрепленные башнями, так и множество светских строений, находящихся во внутренней части. Основной строительный материал — местный необработанный камень на известковом растворе. В северной части крепости на противоположной стороне ущелья сохранились остатки кладбища с несколькими хачкарами, имеющими лапидарные надписи.

Эту мощную средневековую крепость-замок мелики Гюлистана в начале XVIII века для усиления обороноспособности своих владений восстановили и сделали более неуязвимой. Здесь во время опасности укрывалось местное население, хранились монастырские ценности и отражались удары противника. Это оборонительное сооружение, созданное по классическим образцам армянского военнофортификационного строительного искусства, является самым большим и важным схнахом — укреплением Северного Арцаха.

Гюлистан был очевидцем важнейшего исторического события. Именно здесь был заключен русско-персидский мирный договор. Как гласят архивные материалы, "…встретились в Г(юлистане). где персы и русские помирились, обменявшись трактатом о мире и определив границы…"

В 1886 году село имело 42 двора с 349 жителями, в 1902 году — 63 двора и 458 жителей, в 1970 году — 204 двора и 1 012 жителей, в 1991 году — 245 дворов и 1 124 жителя.

В селе имелась средняя школа, детский сад, библиотека, дом культуры, мемориал павших в Великой Отечественной войне 1941–1945 годов. Среди них Гарегин Балаян удостоился звания Героя Советского Союза.

В годы самообороны гюлистанцы потеряли 31 человека. Насильственно депортированные 13 июня 1992 года, жители переселились в Армению и Россию.

Общий вид села Гюлистан, где в 1813 году был заключен договор, по которому Карабах переходил “на вечные времена" к России.

Гюлистанская крепость

На вершине неприступной скалы — крепостные стены. Сверху вниз, до реки в ущелье, построен подземный ход с каменными ступеньками. Крепость имела башни, оружейные мастерские, мельницы и т. д. (К. Каграманян).

Этой средневековой церкви в селе Гюлистан сейчас уже нет. Азербайджанцы взорвали ее после взятия Шаумяновского района. (К. Каграманян)

Монастырь апостола Елисея (Егиш-Аракел). Вход (основан во II веке, комплекс построен в средневековье). (К. Каграманян)

Каменная плита на могиле Беглар-бека. Надпись на обратной стороне гласит, что он "сын мелика Фридона, внук храброго мелика Беглара, князя Карабаха, властелина Гюлистана". Находится у церкви села Гюлистан. (К. Каграманян)

Неркин-шен — древнее и густонаселенное поселение Арцаха — в 1938 году официально был переименован в Шаумян, а район (исторический Гюлистан) — в Шаумянский район. Райцентр с 4 сентября 1961 года является поселком городского типа. Он находится почти в центре района, на перекрестке путей сообщения. Имея удобное географическое положение и раскинувшись по берегам реки Севджур, Шаумян обладает благоприятными градостроительными условиями.

Построенные в традициях армянского национального зодчества жилые и административные здания, а также протянувшиеся вдоль реки ухоженные сады придают райцентру особую привлекательность и благоустроенный вид. Поселок и его окрестности богаты археологическими, историко-архитектурными и декоративномонументальными памятниками. Найденный на территории райцентра и экспонируемый в районном Историко-краеведческом музее богатый материал подтверждает ту истину, что провинция Гюолистан играла значительную роль в политической, экономической и культурной жизни армянского народа. В частности, в годы правления известных меликов Арцаха Неркин-шен упоминается в списке деревень, присоединенных к владениям мелика Беглара I (XVIII в.). Изучение сохранившихся памятников показывает, что в XVII–XVIII веках Нсркин-шен был благоустроенным поселением. После принятая знаменитого Гюлистанского договора (между Россией и Ираном) Неркин-шен вместе с другими деревнями этой провинции стал расширяться и интенсивно застраиваться. Об этом красноречиво говорит прирост населения, открытие школ, расцвет ремесел, распространение торговли и переход от патриархального метода ведения хозяйства к более производительному.

Церковь Неркин-шена Сурб Аствацацин, которая, к сожалению, до основания была разрушена в 1980-х годах, судя по строительной надписи была построена в 1697 году. Она представляла собой трехнефную базилику, двускатная крыша которой опиралась на шесть колонн. Внешние размеры — 20 на 9.5 м.

Почти в центре поселка на вершине холма раскинулось просторное кладбище с древними захоронениями. Здесь хорошо сохранились красиво оформленные надгробия, хачкары и небольшие мавзолеи. Наиболее древние эпиграфические надписи надгробий относятся к XVII веку. Высокохудожественные хачкары и надгробия богаты барельефами на бытовые темы. В этом «лесу» могильных стелл выделяется интересный сорокаколонный мавзолей, похожий на колокольню (1865 г.).

В поселке над рекой сохраняются остатки правобережной кормовой части однопролетного моста, построенного из необработанных речных камней. По всей видимости, мост был построен в XVII веке. По своим строительным особенностям он соотносится с мостами, построенными в Арцахе в этот период. Недалеко от него в левой части реки сохранились остатки разрушенной мельницы. Здесь же лежат хорошо сохранившиеся мельничные жернова диаметром 105 и 125 см. (Кстати, когда злодеяния руководителей Азербайджана достигли апогея, и они, полностью блокировав Шаумянский район, лишили его электричества, жители быстро восстановили мельницу и этим не только спаслись от голода, но и обеспечили электроэнергией больницу, где ни на минуту не прерывались операции над раненными соотечественниками.)