В столице он продолжал так компрометировать отца своим поведением, что тот отослал его в далекий полк в Финляндию. Его проказы так донимали отца, что тот с горечью писал: «Мне пришло до того: или уши свои зашить и худых дел ваших не слышать, или отречься от вас…». После смерти отца в 1749 году молодой граф переменился, посерьезнел и выдвинулся в число лучших командиров. Он стал любимцем Петра III, генерал-аншефом, кавалером высших орденов. При Екатерине II был назначен генерал-губернатором Малороссии и оставался им в течении 30 лет. Суворов А.В. считал его своим учителем.

Во время официального празднования в Петербурге победы над турками Петр Александрович получил фельдмаршальский жезл, почетный титул — Задунайский, осыпанные алмазами звезду ордена Андрея Первозванного, лавровый венок и масличную ветвь и, по обычаю тех времен, пять тысяч душ крестьян. В честь его побед возведены обелиски в Царском Селе и Санкт-Петербурге. По наследству в 1797 году дом прославленного генерал-фельдмаршала перешел к его сыну — известному государственному деятелю, канцлеру при дворе Александра I, дипломату, графу Николаю Петровичу Румянцеву.

Известный коллекционер, он был просвещенным человеком своего времени. С молодых лет собирал книги, покупая целые собрания по русской и славянской истории. На собственные средства он снарядил экспедицию И.Ф. Крузенштерна, совершившего первое русское кругосветное путешествие. Мореплаватели приобретали этнографические экспонаты для коллекции Румянцева. К концу жизни он собрал бесценную библиотеку, уникальную коллекцию монет, редких рукописей, минералогический кабинет. Все свое собрание страстный коллекционер завещал государству.

Коллекция книг, собранная Румянцевым, стала основой для создания Румянцевской библиотеки, после революции переименованной в Ленинскую. Сейчас это Российская Государственная Библиотека — крупнейшей в Европе и вторая в мире после Библиотеки конгресса США. Кстати, расположена она в знаменитом доме Пашкова, построенном Василием Баженовым, как и его фамильный дворец.

В доме у влиятельного вельможи и мецената бывали литераторы и историки. Частыми гостями здесь были Карамзин, Батюшков, Жуковский, Вяземский. В доме давал представления театр, составленный из крепостных Румянцева.

Интерьеры дома удивляли современников. «В нем кроме штофных обоев и других украшений, каких я еще не видывал, замечательна была зала в два света, то есть в два этажа окон, — писал М. Дмитриев. — Она была расписана альфреско (то есть по сырой штукатурке), и над всеми окнами были изображены победы отца хозяина, фельдмаршала графа Румянцева… Над дверьми же изобразил он: на одной — себя, облокотившегося на балкон и смотрящего вниз, а над другой — себя же и своего зятя, живописца, расписывавшего эту комнату, с маленьким арабом, подающим ему шоколад».

Через 30 лет румянцевский дворец перешел во владение к брату Николая Петровича Сергею. Часть его бесценной коллекции перешло в музеи, а находилась во дворце и при новых владельцах. В 1918 году Моссовет принял решение об экспроприации этой бесценной коллекции, однако накануне обыска она бесследно исчезла и, по некоторым данным, в настоящее время она также хранится в одном из тайников, сооруженных прежними владельцами в подвалах здания. По преданию, в фундаменте дворца и по сей день покоится замурованный свинцовый ларец с оригиналом булавы — символом упраздненной гетманской власти.

В течение XIX века усадьба переходила из рук в руки. В числе владельцев дома были богатые московские купцы и фабриканты, такие, как Щеглов, Усачев, Сапожников, Каулин. Они уничтожили находившийся при доме обширный прекрасный сад и на его месте возвели каменный корпус с квартирами, предназначавшимися для сдачи в аренду. Главный дом получил новых владельцев, расположивших в нижнем этаже магазины и табачные лавки. Новый хозяин отнесся к «драгоценным» румянцевским росписям без особенного пиетета, повелел соскоблить их и расписать дом по собственному вкусу. По воспоминаниям современников, вместо «славных воспоминаний» он велел намалевать разные цацы и по-пряничному разукрасить стены».

Дмитриев писал: «Я видел на половинке одной двери уже другого араба с трубкой табаку: тут продавался табак. Так исчезают у нас все памятники и все предания: вероятно, в изображении баталий Румянцева и поднесения ему ключей от города невежа новый владелец не разумел их значения и принимал за сказочных богатырей». Вероятно для новых владельцев «араб с трубкой табаку» был естественным рекламным ходом.

В 1874 году Румянцевский дворец становится собственностью московского купца Семена Дмитриевича Грачева. Он торговал шелковыми изделиями в торговом ряду, был гласным Московской городской Думы. Текстильное производство Грачевых, основанное в середине XVIII века крепостным князей Шереметевых Иваном, стало основой знаменитой Ивановской мануфактуры, процветавшей вплоть до 1917 года.

В 1876 году его сын знаменитый купец и благотворитель Митрофан Семенович Грачев застраивает свой участок доходными каменными зданиями. По просьбе владельца в 1886 архитектор Г. А. Кайзер перепланировал и перестроил главный дом. На фронтоне появилась монограмма Грачевых — вензель в виде буквы «Г». На фасаде — скульптурные женские фигуры, оформляющие второй и третий этажи. На первый взгляд они кажутся чисто декоративными, но на самом деле — это аллегорические изображения, символизирующие разные виды ремесла и искусства: земледелие и животноводство — на втором этаже, театр, пение, танец, архитектуру, живопись, музыку — на третьем (их можно узнать по присущим музам атрибутам).

Дом был приспособлен под квартиры и всевозможные торговые помещения. В верхних этажах устроили меблированные комнаты, а нижние предоставляли конторам торговых домов, акционерным и страховым обществам. В бельэтаже помещалась Городская аукционная контора, где ежедневно продавали «с молотка» дома и имения знаменитых вельмож и государственных деятелей.

В верхних этажах была устроена гостиница «Нева», где жили многие преподаватели расположенного по соседству Лазаревского института. Здесь собирались писатели, художники. Жильцами этого дома были также историк Москвы И. К. Кондратьев, художник А. К. Саврасов, писатель Н. В. Успенский и многие другие известные люди.

Монограмма Грачевых— вензель в виде буквы «Г»

По преданию Грачевы, ставшие владельцами роскошного дворца, вступили во владение зданием, дав письменное обязательство не нарушать «баженовского ансамбля». Однако, по свидетельству очевидцев, в течение нескольких лет купцы вели интенсивный «ремонт» и перестройку здания. По Москве поползли слухи, что новые хозяева искали сокровища, оставленные прежними хозяевами. Неизвестно, удалось ли им отыскать спрятанные в фундаменте бриллианты, но об их собственных сокровищах москвичи слагали легенды.

Одна из наиболее знаменитых — об источнике огромного богатства последнего владельца знаменитого дома Митрофана Грачева. По слухам, купец якобы выиграл все свое огромное состояние в казино в Монте-Карло. В память об этом в своей ховринской усадьбе Грачевка он повелел построить невиданный дворец, поразивших всех московских обывателей. С именем Митрофана Семеновича Грачева связано появление загадочной надписи на воротах «Свободен от постоя». Эта надпись имеет весьма простое объяснение: владельцы внесли в городскую казну солидный взнос на строительство военных казарм, что освобождало их от обязательного в те годы постоя и содержания солдат…

Ходившие по Москве слухи о богатстве Грачевых, очевидно, не были лишены основания, о чем, в частности, свидетельствуют находки середины 30-х годов прошлого века. Во время реставрации в 1935–1938 годах в стенной кладке первого этажа и одном из подвальных помещений дома были обнаружены два клада с монетами царской чеканки, совокупная стоимость которых была оценена почти в 2 млн. золотых рублей. За домом сразу же прочно закрепилось название «Остров сокровищ». Следствие установило, что клады были сокрыты в здании его последними владельцами Грачевыми, однако, расследование показало, что купцы были не первыми и не последними, кто доверил старинному дому бесценные сокровища.