Брюс был не только верным исполнителем державных замыслов Петра, но и принимал деятельное участие в его семейных делах. В свое время Петр поручил Якову Вилимовичу регулярно посещать царевича Алексея, очевидно, надеясь, что беседы умного и широко образованного человека повлияют на непутевого наследника. При дворе царевича состояла и супруга Брюса Мария (Марфа) Андреевна. Характерно, что под смертным приговором Алексею Брюс свою подпись не поставил.
Весной 1723 года, когда Петр праздновал очередную годовщину бракосочетания с Екатериной, Яков Вилимович, распоряжаясь торжествами, устроил в Петербурге грандиозную процессию кораблей, поставленных на полозья и запряженных лошадьми.
Французский посланник Кампредон рассказывал: «Царь ехал на 30-пушечном фрегате, вполне оснащенном и с распущенными парусами. Впереди в шлюпке в виде бригантины с трубами и литаврами на носовой части оного ехал распорядитель праздника, главный начальник артиллерии граф Брюс».
7 мая 1724 года во время коронации Екатерины Брюс нес перед ней новую императорскую корону, а супруга Брюса была в числе пяти статс-дам, поддерживавших шлейф Екатерины. А 28 января 1725 года Брюс в последний раз служит Петру I, будучи главным распорядителем на его похоронах.
После смерти Петра Брюс продолжает свои занятия и по коллегиям, и по артиллерии, но начавшийся передел власти между вельможами вынуждает его просить отставки. Надо полагать, что поводом к ней послужило невключение Брюса в состав Верховного тайного совета, учрежденного Екатериной I. Недоверие к новому правительству выражается в просьбе Брюса к Екатерине I выдать ему специальную Жалованную грамоту, подтверждающую права на поместья и графский титул. 31 марта 1726 года новоиспеченная императрица удовлетворяет эту просьбу, и 6 июня Брюс выходит в отставку с чином генерал-фельдмаршала и орденом Александра Невского. Вместе с женой он переезжает в Москву и покупает у А. Г. Долгорукова подмосковное «сельцо Глинково» в 42 верстах от Москвы, при впадении реки Вори в Клязьму.
Отойдя от дел государственных, Яков Вилимович серьезно занялся любимым делом – наукой. Обустроив усадьбу Глинки и оборудовав в ней обсерваторию, он продолжил астрономические наблюдения, время от времени наведываясь в Москву, в Сухареву башню. Кроме того, он занимается проблемами чистой математики, разработкой проблем практической оптики, нахождением точных методов определения удельного веса металлов, отыскиванием способов очистки металла от посторонних примесей. (Его ученик В.Н. Татищев, будучи одним из руководителей московского Монетного двора, привлек его к работе.)
Установленный Брюсом удельный вес золота, серебра, меди практически не отличается от современных значений. А хранящееся в Государственном Эрмитаже большое вогнутое металлическое зеркало для отражательного телескопа, изготовленное «собственным тщением» Брюса в августе 1733 года, и две, им же изготовленные зрительные трубы не уступают лучшим образцам и более позднего времени.
Также Брюс увлекается медициной и оказывает помощь окрестным жителям, составляя лекарства из трав. Это породило новые слухи о том, что «он знал все травы, этакие тайные, и камни чудесные, составы разные из них делал, воду даже живую произвел, то есть такую воду, что мертвого человека живым и молодым делает». Легенды о живой воде, якобы созданной Брюсом («должно быть, не своей силой произвел!» – делали большие глаза рассказчики) обрастали столь яркими подробностями, что характеризовали скорее не Брюса, а рассказчиков. В вариациях на тему живой воды и проб Брюса ее чудодейственной силы над самим собой присутствуют то царь Петр и турецкий раб Брюса, то его же старик-слуга, омоложенный хозяином, и Брюсова жена. Заканчиваются эти рассказы тоже по-разному: иной раз не удается Брюсу ожить, то по воле царя, то по неосторожности жены. Интересно, что еще в конце 1830-х годов в Жиздринском уезде Калужской губернии, в селе Чернышине, некогда принадлежавшем Брюсу, жил столетний камергер прежних владельцев имения. И местные жители, передавая друг другу легенду о живой и мертвой воде, созданной Брюсом, и о его экспериментах над самим собой, указывали на старика-камердинера, как на того самого человека, который вспрыскивал водой изрубленного им же Брюса.
Научные эксперименты и инженерные открытия графа порождали у местных жителей суеверный ужас, закрепивший за Брюсом славу колдуна. Стали рассказывать про дракона, влетающего по ночам в окна обсерватории, о том, что сам Брюс может летать, надев на руки огромные крылья, о горничной из цветов, о чарами замороженном летом пруде, на котором можно кататься на коньках… Да мало ли волшебных сказок может придумать русский народ, дай ему для этого повод? Но что характерно, хоть и подозревали Брюса в связях с нечистой силой, однако во всех рассказах он выступает в роли скорее доброго и чудаковатого волшебника, чем злого колдуна.
В Глинках Брюс прожил около десяти лет, очень уединенно, якобы под охраной взвода солдат (приводятся даже оценки военных историков, по которым численность взвода составляла не менее тридцати человек). Умирал он в одиночестве: его дочери не пережили младенческий возраст, а жену он похоронил 30 апреля 1728 года.
Брюс скончался в апреле 1735 года, немного не дожив до 66 лет. Был погребен в Немецкой слободе, в старой лютеранской кирхе (ныне улица Радио в Москве). Усадьба Глинки будет во владении Брюсов до 1815 года, в 1757 же году в конце парка наследники построят церковь и фамильную усыпальницу Брюсов.
Так закончился земной путь Якова Брюса, и продолжилась жизнь легендарная. Поводов к тому Брюс подал предостаточно. Взять хотя бы книги, которые нашли чиновники, составлявшие опись кабинета Брюса. Среди них были: «Философия мистика» на немецком языке, «Небо новое» на русском языке, загадочная книга, состоявшая из семи деревянных дощечек с вырезанным на них непонятным текстом, и еще много книг по магии и астрологии, не считая других – полторы тысячи томов по математике, физике, химии, астрономии, военному делу, архитектуре, медицине, истории, богословию, искусству и художественной литературы. Однако магической Брюсовой книги, писанной волшебными знаками, дающей власть над миром и принадлежавшей некогда чуть ли не премудрому царю Соломону, так и не нашли. И еще больше уверились, что Брюс перед смертью замуровал ее в Сухаревой башне. О том, насколько стойкими и убедительными были эти легенды, свидетельствует то, с какой скрупулезной тщательностью разбирала новая власть Сухареву башню в 1934 году. Именно разбирала: она не была взорвана или просто разрушена, как огромное количество «ненужных» и «неудобных» зданий в Москве, коими были, прежде всего, церкви. Когда предлог сноса был найден: башня мешает транспортному движению, никакие доводы авторитетных специалистов значения уже не имели. Резолюция Сталина была безапелляционной: «Мы изучили вопрос о Сухаревой башне и пришли к тому, что ее надо обязательно снести. <.> Архитекторы, возражающие против сноса – слепы и бесперспективны».
Вот хроника уничтожения Сухаревой башни по газетным сообщениям тех лет.
19 апреля 1934 года: «Верхние шесть метров Сухаревой башни уже разобраны. Закончена также разборка главной гранитной лестницы, 60-пудовый шпиль башни спущен на землю. Самая ответственная часть работы, таким образом, закончена. Вчера закончена съемка часов с башни».
29 апреля: «Вчера закончился разбор призмы (верхней части) Сухаревой башни. Преступлено к сносу основного здания.»
24 мая: «Разборка Сухаревой башни заканчивается… Общий план работ выполнен более чем на 80 процентов. Нижний этаж будет разобран в течение ближайших 5–6 дней. Все строительные материалы предоставлены гордоротделу для использования при замощении улиц».
12 июня: «В ночь на 11 июня закончились работы по сносу Сухаревой башни. Разобрано свыше 16 тыс. кубометров стройматериалов».
Ученым удалось спасти лишь некоторые фрагменты знаменитой некогда башни, которые увезли в Коломенское. Говорили, что Сталин лично контролировал разборку, приезжая по ночам, и даже какие-то книги якобы были обнаружены и вывезены с места сноса. Однако Черная книга так и осталась не найденной. Рассказывали также, что вроде бы перед началом сноса из башни вышел старик, сам Брюс, и, пока его машина НКВД не увезла, башню разбить не могли. А незадолго до этого, в 1929 году, при строительстве аэродинамической лаборатории ЦАГИ в Москве на месте бывшей немецкой слободы из склепа были извлечены останки и части сохранившейся одежды Брюса: шитый золотом парчовый кафтан, камзол и полуистлевший ботфорт. На камзоле была нашита звезда к ордену Андрея Первозванного. Останки передали в реставрационную мастерскую М. М. Герасимова, но, по преданию, они бесследно исчезли. Сохранились лишь отреставрированные кафтан и камзол Брюса в фондах Государственного исторического музея. Зато появились слухи о привидении Брюса, будто бы посещавшем свой дом в Глинках и Сухареву башню. Заговорили и о загадочном, на взгляд его современников, предсказании Якова Брюса, что «…на моих костях потомки российские будут учиться летать…».
