21 нюня 1789 года Гарновский экстренно сообщил шефу.

«Мое пророчество сбылось. На сих днях последовала с графом Александром Матвеевичем страннаая и ни под каким видом неожиданная перемена…»

Причиной отставки графа стало его любовное увлечение. Фрейлина императрицы Дарья Щербатова была принята ко двору по ходатайству самого Потемкина, просившего за семью погибшего на войне генерал-поручика Ф. Ф. Щербатова. Дмитриев-Мамонов познакомился с ней у родственника, графа Рибопьера, убитого спустя год при штурме Измаила. Влюбившись, А. М. Дмитриев-Мамонов украдкой встречался с фрейлиной в закоулках Зимнего дворца.

Екатерина II, очевидно, была потрясена неожиданно открывшейся изменой фаворита. Более всего ее возмутила скрытность Мамонова, которому доверялись многие личные и государственные тайны. Александра Матвеевича было решено удалить из Петербурга.

«Он не может быть счастлив,- простодушно сказала императрица своему секретарю Храповицкому,- разница ходить с кем в саду и видеться на четверть часа или жить вместе».

Гарновский доносил:

«1-го числа сего июля совершилась графская свадьба здесь, в придворной церкве, куда, по желанию его, во время бракосочетания, кроме на свадьбу и потом к ужину, малого числа приглашенных особ никого не пускали…

Препровождаю при сем копию с имеииого указа, которым пожаловано графу до 3000 душ с собранными с них доходами… Сверх сего пожаловано ему из кабинета сто тысяч рублей, которые, несмотря на крайний в деньгах недостаток, все ему выплачены сполна.

3-го числа сего июля месяца отправился граф с молодою супругою своею в Дубровицу, с тем чтобы пробраться туда прямо, не заезжая в Москву».

Екатерина и сама известила Потемкина о случившемся:

«Граф Александр Матвеевич Дмитриев-Мамонов, женясь в воскресенье на княжне Щербатовой, отъехал в понедельник с своею супругою к своим родителям, и естьлиб тебе рассказать все, что было и происходило через две недели, то ты скажешь, что он совершенно с ума сошел…»

Потемкин, обеспокоенный удалением своего ставленника, не знал, как себя вести.

Екатерину некоторое время занимала судьба отставного фаворита. «Здесь слух идет,- писала она Потемкину,- будто граф Мамонов с женою из Дубровиц отправился в рязанскую деревню, и сему ищут резон, как будто бы графине тамо способнее родить, но я сим слухам не верю».

И чуть позже, в сентябре 1789 года:

«О графе Мамонове слух носится, будто с отцом розно жить станет, и старики невесткою недовольны».

Но Гарновский предчувствовал: с падением Дмитриева-Мамонова приходит конец влиянию при дворе в самого Потемкина. Граф Александр Матвеевич, каким бы удачливым он ни казался, сознавал свое ничтожество перед силой Потемкина, не домогался первенства над ним, как другой фаворит императрицы Платон Зубов.

После отъезда А. М. Дмитрнева-Мамонова в Петербурге носились слухи, что «граф с ума сошел на Москве». Но эти сведения были ложью. Злорадно осуждаемый царедворцами, Александр Матвеевич, которому тогда было около тридцати лет, заслуживал тем не менее если не уважения, то сочувствия. Впрочем, позже граф уронил, к удовольствию Екатерины II и двора, собственное достоинство малодушным раскаянием:

«Случай, конм я по молодости лет и по тогдашнему моему легкомыслию удалей я стал по несчастию от Вашего Величества, тем паче горестнее для меня, что сия минута совершенно переменить могла Ваш образ мыслей в разсужденни меня, а одно сие воображение, признаюсь Вам, беспрестанно терзает мою душу. Теперешнее мое положение, будучи столь облагодетельствован Вами, хотя было бы и наисчастливейшее, но лишение истиннаго для меня благополучия Вас видеть и та мысль, что Ваше Величество, может быть, совсем иначе позволите думать, нежели прежде, никогда из головы моей не выходят,- писал он Екатерине из Дубровиц.- И со всем моим рвением без того возможно ли, чтобы я нашел случай доказать всем, как бы я желал от всей искренности души моей, ту привязанность к особе Вашей, которая, верьте мне, с моей только жизнью кончится».

Все письма бывшего фаворита хотя и удостаивались ответа, но оставались без всякого удовлетворения. А Мамонов, затосковавший по прежней жизни, готов был пожертвовать семьей:

«Настоятельно до оной осмелюсь однакож я Вам, всемилостивейшая государыня, доложить, что сколь я к ней ни привязан, а оставить ее огорчением не почту, когда только со временем угодна будет Вашему Величеству моя услуга, а сим подастся мне случаи при оказании моего усердия и ревности (коими я пылаю) и загладить прежний мой проступок».

Как и пророчила пожилая императрица, счастливой жнзни у молодоженов не вышло. Графа томила тоска по утраченному положению, его раздражительность и бесконечные придирки доконали жену и свели самого в могилу в расцвете лет. Дарья Федоровна умерла раньше, в 1801 году. Любопытно, знала ли она, что ее родной дед по матери воспитывался в Дубровицах, хозяйкой которых она стала? Дарья Федоровна была дочерью Марии Александровны Щербатовой, урожденной Черкасской – дочери погибшего в Хиве Александра Бековича. Родной бабкой ей приходилась утонувшая в Волге Марфа Борисовна – дочь устроителя Дубровиц, знаменитого Б. А. Голицына.

У Дмитриевых-Мамоновых родились в Москве сын Матвей Александрович и дочь Мария Александровна. Их воспитанию и посвятил последние годы жнзни отставной фаворит. Мемуарист П. Г. Кичеев, отец которого служил у графа домашним учителем, отмечал, что при детях Александра Матвеевича находилось множество других учителей, среди них и некая мадам Ришелье, специально выписанная из Франции.

В быту отставной фаворит держал себя с достоинством. «К гордости графа относили и то,- отмечал Кичеев,- что во время семейных праздников в Дубровицах. Подольского уезда Московской губернии, граф надевал парадный мундир с бриллиантовыми эполетами и все имевшиеся у него регалии».

После смерти Екатерины по указу Павла I Александру Матвеевичу пожаловано было графское достоинство Российской империи и его род был включен с этим титулом в родословные книги. Дальние родственники, носившие ту же фамилию, титула так и не получили.

В ту пору, очевидно, принялся Александр Матвеевич перестраивать усадебный дворец и парадные северные флигели. В соответствии с модой старое голицынское строение было увенчано фронтонами. При этом средняя часть здания, надстроенная третьим полуэтажом, оказалась выше фронтонов боковых ризалитов. Верхний невысокий этаж получил несколько необычные для классицизма полуциркульные окна под карнизом фронтона. Простенки между ними заняли коринфские капители пущенных на всю высоту здания пилястр.

Ризалиты тоже были украшены пилястрами с ионическими капителями. Во фронтонах и над окнами появились скромные декоративные вставки в виде веночков и лент. Южные выступы здания соединила лоджия с шестью упрощенными дорическими колоннами, поддерживающими одновременно балкон над главным входом. На крыльце установлены были мраморные львы. Подобные им фигуры венчали пилоны теперь уже не существующих передних и боковых ворот парадного двора. Ограда изящного рисунка, позже разобранная вместе с воротами, примыкала к флигелям.

Неизвестный архитектор тогда же пристроил к торцам главного здания открытые (позже они были закрыты и остеклены) широкие террасы. Наиболее эффектной их частью стали торцевые белокаменные крыльца с циркульными лестницами. Серьезной реконструкции подвергся я северный фасад дворца, обращенный к Десне. По центру здания была возведена открытая полуротонда из десяти колонн. На поддерживаемый колоннами широкий полукруглый балкон второго этажа вели двери из парадного зала. Мощная колоннада смущала своей грубоватостью многих ревнителей строгого классицизма. «Курьезной отсебятиной архитектора» назвал полуротонду усадебного дворца в Дубровицах автор одной из старых брошюр, отметив, что колонны чрезмерно толсты и не имеют, как положено, капителей (этот недостаток был не менее курьезно устранен при современной реставрации сооружения, и новые капители оказались там, где им надлежало быть столетием раньше).