В конце XVII века подлинным шедевром национального русского зодчества стала церковь Николая Чудотворца, возведенная в Столпах. Тогда же над нею, уже каменною, была построена вторая — церковь Рождества Богородицы, богато украшенная белокаменной резьбой. Проходившая по основанию с трех ее сторон галерея подпиралась двенадцатью кувшинообразными столбами из камня. Здание церкви удачно сочеталось с галереей и колоннами нижнего храма.

Невдалеке, на прицерковном кладбище, до 1820 года стоял памятник в виде избы с высокой тесовой крышей над захоронениями боярина Матвеева, жены его, сына, невестки и двух слуг. В начале 1820-х годов надгробие это праправнук А. С. Матвеева граф Н. П. Румянцев заменил на новое, в виде саркофага с двумя портиками и колоннами, который и простоял до 1930-х годов.

В середине XVIII века в Столповском переулке поселилась богатая армянская семья Лазаревых, представитель второго поколения которой Иван Лазаревич Лазарев даже вошел в круг государственных сановников, решавших при Екатерине II ключевые вопросы российской политики. При активном содействии этой высококультурной семьи в переулке в 1779 году была сооружена армянская Крестовоздвижеиская церковь, а сам переулок стал называться Армянским.

Одними из первых домовладельцев интересующей нас усадьбы под № 11 в Армянском переулке по предположениям были Милославские. Потом среди владельцев дома мы находим наследников князя Дмитрия Андреевича Волконского, племянника и сподвижника известного боярина Ф. Ф. Волконского, воеводы царя Алексея Михайловича. Владел домом и Матвей Васильевич Дмитриев-Мамонов, один из важных сенаторов екатерининского времени. Это его внук Матвей Александрович Дмитриев-Мамонов прославился по Москве тем, что в самом начале Отечественной войны 1812 года на свои деньги экипировал целый полк, вооружил и повел его на борьбу с неприятелем.

Затем дом перешел к известной в Москве богатой семье Глебовых.

Наконец, в марте 1790 года этот особняк у жены коллежского асессора Николая Алексеевича Глебова Марфы Григорьевны был куплен женой капитана 2-го ранга князя Ивана Сергеевича Гагарина Марьей Алексеевной.

Забор в забор с приобретенной Гагариной усадьбой, занимая часть некогда бывшего владения Матвеевых, находилась усадьба действительного статского советника Ивана Лазаревича Лазарева. А по другую сторону, ближе к Покровке, находился двор тайного советника, сенатора и кавалера разных орденов Федора Ивановича Левашева. Прямо напротив гагаринской усадьбы в 1793 году у полковника Хлебникова знаменитый полководец, фельдмаршал граф П. А. Румянцев-Задунайский приобрел большой трехэтажный каменный дом, стоявший на углу Армянского переулка и Маросейки. Он велел его переделать на современный манер, расписать внутренние стены особняка картинами сражений, в которых сам участвовал.

Определенная известным знатоком прошлого Москвы С. К. Романюком дата покупки Гагариными дома (1790) позволяет нам довольно точно определить и время начала перестройки старого строения (начало последнего десятилетия XVIII века), которую затеял не хотевший ударить в грязь лицом перед соседями состоятельный князь. Для этого он привлек хорошо известного в Москве талантливого архитектора Матвея Федоровича Казакова.

Зодчий, уже имея перед собой натуру, не смог следовать своему правилу — выносить фасад главного здания на красную линию переулка, «организуя этим приемом ансамбль улицы или площади», а проводил работы на том же месте, где находилось прежнее строение.

О его осуществленных планах говорят дошедшие до нашего времени чертежи архитектора, а также изыскательские работы реставраторов мастерской № 13 «Моспроекта-2».

По свидетельству начавшей реставрацию особняка в конце 1970-х годов архитектора-реставратора Н. В. Ильенковой, в этом памятнике истории и зодчества соединены разные эпохи и стили. Не дом, а история архитектуры! Почерк великого Казакова, например, виден в левой части этого здания, где сохранилась старинная лестница с прекрасно продуманным двусторонним освещением. Но в ходе исследований, проводившихся в «недрах» сооружения, удалось обнаружить характерные черты, присущие XVII и даже XVI векам! Однажды проем, пробитый в толще степы, круто и глубоко увел реставраторов под древние своды, и им открылись четыре просторные белокаменные палаты общей площадью около 500 квадратных метров. Архитекторы определили «возраст» — им 400 лет! Потом нашлось и доказательство — красный терракотовый изразец, типичный для XVI столетия.

Из палат стало возможным попасть в следующий век — кирпичную галерею, пристроенную со стороны двора. Раскопанные ступени дали и первые находки — две курительные трубки XVIII века из белой керамики. На одной из них обнаружено чернильное пятно с отпечатком пальца — не иначе как трубка принадлежала пишущему человеку. А потом, по ходу реставрации, было найдено немало изразцов, различных профильных детален, черепков старинной посуды и бытовой утвари. А в левом флигеле во дворе было обнаружено помещение бывшей кухни, облицованной красивыми изразцами — голубые цветы на белом поле.

А само удлиненное в плане здание имело по фасаду два симметричных выступа, в которых в XVIII веке находились входы. Дом был обстроен службами, образовавшими обширный двор. В левой его части располагались служебные помещения — кухня и квартиры прислуги, а в правой — конюшня и небольшой жилой флигель, выходивший фасадом в Армянский переулок.

Слева и справа к главному дому Казаков пристроил дополнительные помещения, а главный вход он перенес в левую часть здания, ближе к вновь возведенной парадной лестнице (о которой уже говорилось) с забежными ступенями, на столбах. Эта лестница вела на второй этаж в аванзал-столовую, которой открывалась анфилада парадных комнат.

Столовая, имевшая двустороннее освещение благодаря шести окнам и разделявшаяся на две части отдельно стоявшими колоннами, при необходимости могла быстро превращаться в танцевальный зал. Отапливалась она двумя большими печами, уступами выходившими на середину помещения. Выход на балкон через стеклянные двери в центре подчеркивал внушительные размеры зала и придавал ему дополнительную парадность. Стены были красиво декорированы спаренными пилястрами коринфского ордера. Внушительными, торжественными были и парадные двери.

Расположенная с левой стороны столовой потайная дверь открывалась в сервировочную и вела на небольшую лестницу внутри дома, по которой можно было спуститься на первый этаж.

Массивная дверь вела в следующую комнату — каминную, с двумя угловыми печами. Дверь из нее выходила на большой балкон, тянувшийся вдоль всего главного фасада и державшийся на колоннах коринфского ордера. Откосы окон каминной комнаты и стоящий посередине камин были отделаны искусственным мрамором.

Далее шла спальня с альковом, скрытым за колоннами и имевшим выход в другие помещения. Вся анфилада комнат завершалась кабинетом хозяина дома, из которого был выход на небольшую лестницу, ведшую на третий этаж в библиотеку.

Со стороны столовой на третий этаж также вела парадная лестница, приводящая в угловую проходную комнату, из которой раскрывалась анфилада помещений третьего этажа вдоль всего главного фасада. Параллельно ей из той же проходной комнаты шла анфилада помещений уже с окнами на задний двор. Все комнаты были довольно скромного архитектурного убранства и соединялись между собой арочными проемами. Полы, в отличие от паркетных второго этажа, были дощатыми.

Владелец усадьбы князь Иван Сергеевич Гагарин был высокообразованным человеком. Среди его постоянных собеседников и друзей находились историк Н. М. Карамзин, поэт И. И. Дмитриев, ректор Московского университета И. П. Тургенев, другие литераторы и общественные деятели. Он и детям старался дать прекрасное образование. Сын его Григорий, например, учившийся вместе с В. А. Жуковским в Благородном пансионе при Московском университете, стал потом почетным членом знаменитого литературного общества «Арзамас», а впоследствии видным дипломатом. Назначенный в 1833 году русским посланником в Баварию, он на четыре года стал непосредственным начальником Ф. И. Тютчева.