Непосредственно в замке жила только магнатская семья и приближенные. Перед дворцом сделали пруд с мостом и перилами, за которым тянулись хозяйственные постройки и жилые помещения для челяди. От моста начиналась улица, ведущая к центральной площади Смольян, где располагались деревянная ратуша и торговые ряды. Местечко славилось своими ярмарками, о которых вдохновенно писал Владимир Короткевич в очерке «Земля под белыми крыльями».

Но спокойная жизнь Смольянского замка была недолгой. Он сильно пострадал во время уже упоминавшейся войны между Речью Посполитой и Российским царством, названной польским писателем Генриком Сенкевичем «кровавым потопом». Не обошла стороной эти места и Северная война. Тогдашний владелец замка магнат Павел Кароль Сангушко (1680–1750) встал на сторону короля Карла XII и разрешил ему устроить в крепости опорный пункт шведской армии. Однако в августе 1708 года казаки, поддерживавшие царя Петра, взяли штурмом Смольянский замок. Удержать его они были не в силах, поэтому, недолго думая, решили действовать по принципу «так не достанься же ты никому!» и взорвали замок.

После окончания войны Сангушко частично восстановил свою обитель, но прежнего великолепия достичь не удалось.

В 1831 году местечко досталось коллежскому асессору Василию Семёнову, а затем его сыну — тайному советнику, сенатору Алексею Семёнову, который владел им около 20 лет. Именно Алексей Семёнов объявил о продаже полуразрушенного замка «на кирпич», результатом чего стало быстрое разрушение до основания практически всего комплекса.

В 1860–1870-е годы Смольяны был собственностью статского советника, инженера Валериана Титова. К счастью, он умел ценить красоту и понимал историческую ценность уцелевших остатков замка. Именно благодаря Титову, который не только приказал прекратить варварскую «добычу» кирпича, но даже на свои средства провел частичную консервацию башни, укрепив ее основание небольшими контрфорсами, она и сохранилась до наших дней.

Помимо замковых руин в современных Смольянах достойны внимания барочный костёл Девы Марии, церковь Св. Алексия, часовня-усыпальница, мельница и усадьба начала XX века, а также могила поэта-романтика Томаша Зана (1796–1851).

Есть у Смольянского замка и свой мистический «шлейф» в виде преданий. К примеру, одна местная легенда утверждает, что под землей к замку ведут многочисленные подземные ходы — столь широкие, что по ним когда-то можно было перемещаться, сидя в упряжке! Но главная легенда связана с образом королевы Боны Сфорца, которая некогда приложила руку к обустройству данной местности.

Вообще о королеве Боне Сфорца (1494–1557) ходили ужасные слухи. Якобы для сохранения молодости и красоты (а королева была моложе своего венценосного супруга Сигизмунда I на 27 лет) она периодически купалась в крови невинных девушек. Кроме того, она будто бы содержала целый мужской гарем, членов которого разъярённый от ревности король приказал казнить. Но некоторым любовникам Боны, в частности 3-му и 9-му, удалось спастись. Отсюда якобы происходит традиция поднимать третий тост за любовь и девятый за женщин. Обвиняли коварную итальянку и в отравлении молодой супруги её сына — красавицы Барбары Радзивилл[1].

Однако все это только легенды. Королева, женщина весьма образованная и дальновидная, содействовала развитию в ВКЛ и Польше культуры и просвещения. В числе ее деяний — финансовая поддержка издания в 1523 году в Кракове написанной на латинском языке легендарной поэмы Николая Гусовского «Песня про зубра».

Несмотря на то что умерла Сфорца в родной Италии, в городе Виджевано, говорят, будто её привидение бродит именно здесь, в Смольянах. Говорят, что холодными осенними вечерами, когда от речки Дерновки поднимается туман, застилая всё вокруг, откуда-то из-под земли слышится тихая музыка, а в окнах башни мелькает тёмный силуэт королевы. Почему призрак Боны облюбовал для обитания замок Белый Ковель — остается загадкой.

Архивные старопечатные акты свидетельствуют, что в 1396 году виленский староста, воевода Войтех Монивид получил от великого князя Витовта во владение Геранёны Старые или, как их еще называли, «деревянные» (соответствовали современной деревне Субботники) с прилегающими селениями. Название, вероятнее всего, происходит от белорусского слова «горан», которым именовалась нижняя часть кузнечной печи для обжига керамических изделий.

Позднее Геранёны перешли под патронаж брата Витовта, Жигимонта (Сигизмунда) Кейстутовича (1365–1440), который, в свою очередь, подарил данное имение представителю древнего магнатского рода Гаштольдов. И вот, на переломе XV и XVI столетий, один из влиятельнейших «олигархов» того времени, Альбрехт Гаштольд (ок. 1470–1539) инициировал возведение в Геранёнах мощной фортеции. Причины постройки замка объяснялись не только его важным стратегическим положением на перекрестках удобных путей между Троками (ныне — Тракай) и Новогрудком, Лидой, Гольшанами и Кревой, но и желанием магната получить графский титул, который мог быть ему пожалован лишь при условии наличия каменного замка (мечта осуществилась в 1529 году).

Согласно проекту, Геранёнский замок должен был совмещать в себе новейшие достижения европейского оборонительного зодчества с местными архитектурными традициями. При планировании комплекса был выбран прогрессивный бастионный тип замка, гарантировавший эффективную защиту от артиллерии неприятеля. По углам замка размещались четыре высоких цилиндрических башни-рондели диаметром восемь метров каждая. Их готическую возвышенность подчёркивали шатровые крыши из красной черепицы. Стены, толщиной до 1,4 метра, были сложены из природного камня и облицованы кирпичом.

В целом квадратное в плане сооружение размером 27 х 27 метров, стоявшее на более чем метровом фундаменте из огромных валунов, имело два пояса обороны. Первая линия укреплений проходила по внешнему периметру и включала в себя ров глубиной 4 метра и шириной до 15 метров, а также огромный насыпной вал высотой более 10 метров и шириной тоже до 15 метров, имевший общую протяжённость 700 метров. Кроме того, вокруг замкового холма был выкопан ещё один глубокий ров шириной не менее 20 метров, весной и осенью заполнявшийся водой.

Кстати, над замковым рвом до сих пор возвышается старинное культовое сооружение. Первоначально это была часовня (каплица) в стиле раннего барокко, впоследствии перестроенная в костёл, названный в честь Святого Николая. Существует предположение, что  своды костёла скрывают некие секреты Гаштольдов, однако вход в усыпальницу основательно закрыт.