По слухам, в молодости Варвара Петровна была возлюбленной могущественного временщика Аракчеева, нередко заезжавшего в гости к своей фаворитке. Всесильный Аракчеев был всецело в ее власти: однажды, по словам Вигеля, он появился на балу в генеральской форме, а на плечах у него сидела полуголая «бесстыдница», которая выиграла у него какое-то пари.

Могущественный фаворит Аракчеев был неразлучен с Павлом I весь «гатчинский период» жизни цесаревича. А когда в 1796 г. умерла Екатерина II, он был рядом с Павлом в Зимнем дворце. Там он удостоился наград и высоких назначений. И почти сразу все увидели его истинное лицо: «На просторе разъяренный бульдог, как бы сорвавшись с цепи, пустился рвать и терзать все ему подчиненное…» (Вигель. «Записки»).

Павел сделал его графом, дал ему герб с девизом «Без лести предан» (московские острословы переделывали его: «Бес, лести предан»), но через год за неприглядный поступок он попадает в опалу и отправляется в ссылку в родовую вотчину Грузино. Оттуда в 1803 г. его извлек и обласкал Александр I. Он назначил Аракчеева военным министром.

А.С. Пушкин сочинил на всесильного графа злую эпиграмму:

Однако сердце свое всесильный Аракчеев отдал не жене, не влиятельной возлюбленной Пукаловой, а простой крестьянке Настасье Минкиной — жене грузинского кучера. Влюбившись в Настасью, «злого гения», граф боготворил свою избранницу, доверил ей управление имением, и даже представил императору. Рассказывали, что она мучила Аракчеева своей ревностью, и что жутко приходилось от нее молодым ее прислужницам. Когда Аракчеев возвысил ее до интимности, то своего «мужа она трактовала свысока» и часто приказывала сечь на конюшне.

В 1825 году Минкину зверски убили не выдержавшие истязаний дворовые, отрезав ей голову и изуродовав тело. «Без лести преданный» императору граф, забросив все государственные дела, оплакивал возлюбленную так, как не скорбел после кончины государя. По слухам, узнав о смерти своей возлюбленной, он заревел как дикий зверь, а потом онемел и обезумел. Скорби Аракчеева не было конца. По словам современников, он любил в своей жизни трех людей — императора Александра, любовницу Минкину и ребенка от Минкиной — сына Михаила, получившего фамилию Шумский. Юноша оказался никудышным человеком, горьким пьяницей, кончившим жизнь в кабаке.

Каждое утро Аракчеев приходил поклониться праху Минкиной и приносил на могилу свежие цветы. Как писал современник, он совсем забросил государственные дела и «занимался истреблением дворни». Со смертью Минкиной и Александра 1 для Аракчеева все рухнуло. О нем мгновенно забыли при дворе. Его покинули даже самые верные и преданные люди. Подавленный горем, он бродил по пустому дворцу в Грузино, пока не умер в 1834 году.

В середине XIX века бывшая усадьба Хованских разделила участь многих прежде крупных землевладений в городской черте: она была раздроблена и продана по частям. С тех пор владение № 9 существует в своих нынешних границах. Жилые постройки на участке сдавались внаем, и в 1867 году здесь поселился библиофил Павел Васильевич Щапов, в то время только начинавший собирать свою уникальную коллекцию книг по истории России, позднее легшую в основу собраний Публичной исторической библиотеки.

Позже домом № 9 владел потомственный почетный гражданин, богатейший купец Давид Абрамович Морозов, внук основателя династии «текстильных королей» — Саввы Васильевича Морозова. С именем Давида Морозова связано строительство богадельни и детского приюта в Шелапутинском переулке.

В 1892 году он продает свой «поварской» дом Елизавете Дмитриевне Дункер, дочери Дмитрия Петровича Боткина — известного предпринимателя и коллекционера, племяннице Афанасия Фета. После свадьбы Елизаветы Дмитриевны Фет посвятил ей такие строки:

Именно благодаря Елизавете Дункер главный дом приобрел очертания, частично дошедшие и до нашего времени. Для реконструкции главного дома, затеянной в 1892 году, пригласили архитектора Ивана Сергеевича Кузнецова, ранее работавшего в мастерской Ф. Шехтеля. Он кардинально изменил общую композицию здания, сместив влево парадный вход и сделав ряд пристроек. К зданию была пристроена высотная часть, занятая парадным вестибюлем и роскошным кабинетом. Внутри особняка появились мраморная лестница в духе Антонио Палладио, изысканный кабинет с обтянутыми тисненой кожей стенами, резным дубовым потолком и английским камином, зимний сад с эркером, ампирная чайная зала, малая гостиная и ванная комната, отделанные по канонам ар нуво. По инициативе мужа хозяйки известного инженера Константина Густавовича Дункера, построившего Мытищинский водопровод, в доме были заведены водяное отопление, электричество и лифт — большая по тем временам редкость.

Живописные вставки для потолка двусветного холла и парадных залов хозяева заказали молодому Михаилу Врубелю. Художник еще не был знаменит, поэтому заказчица Елизавета Дункер позволила себе быть капризной. Она отвергла исполненные Врубелем панно «Суд Париса», затем панно «Венеция». Их приобрели в свои собрания другие известные коллекционеры. (Сейчас первое хранится в Третьяковской галерее, второе — в Русском музее в Петербурге). К выполнению заказа Врубель возвращается в конце 1894 года после поездки в Италию. Роскошные цветы, увиденные в садах Генуи, вдохновили его на создание триптиха «Цветы» в духе позднего Возрождения, состоящего из трех плафонов — «Розы и орхидеи», «Хризантемы», «Желтые розы». Так потолочные проемы и картуши дома Дункер украсили изображения цветов, символ вечной и нетленной красоты. Они отражают стремление художника найти в природе скрытое, неразгаданное, ее «душу». Накануне революции плафоны оказались в собрании Рябушинских. После национализации частных коллекций «Цветы» поступили в Центральное отделение Государственного музейного фонда. В 1927 году их передали в Омск, на родину художника Врубеля.

После смерти супруга Елизавета Дмитриевна вновь вышла замуж, а в 1910 году продала дом купцу первой гильдии Осипу Сергеевичу Цетлину. Семье Цетлиных особняк обязан новым барочным фасадом, сделанным архитектором Адольфом Зелигсоном, и званием «самого утонченного из русских литературных салонов». Также, по проекту Зелигсона, была выполнена красивейшая часть здания — голубая гостиная с зимним садом. Стены этого помещения украшены изысканным лепным декором, навеянными мотивами эпохи Возрождения.

Парадные помещения сохранили отделку из ценных пород дерева. Дошли до нас мраморные подоконники, деревянные потолки конца XIX века, подлинный, отделанный деревом камин, деревянная лестница на антресоль и витражное окно в ванную.

Вскоре об этом доме начинают говорить как о «самом утонченном из русских литературных салонов». У сына Цетлиных, Михаила, поэта-любителя, творившего под псевдонимом Амари (что значит «для Мари», Марией звали его жену), бывала в гостях вся творческая элита Москвы. Здесь бывали Волошин, Цветаева, Мандельштам, Бенуа, Серов и Добужинский, Пастернак, Антокольский, Эренбург. Аристократия нового века.

Михаил, наследник богатейшего торгового дела своего деда по матери («Чай Высоцкого»), из-за болезни так и не окончил университета, однако хорошо знал пять языков; в 1906 году выпустил в Москве первую книгу («Стихотворения»). В 1907 году он был привлечен как член партии эсеров к «дознанию», бежал за границу и до 1917 года жил то во Франции, то в Швейцарии.