Через несколько месяцев Екатерина II в сопровождении великолепной свиты отбыла в Петербург, а Алексей Григорьевич остался в старой столице на покое. Он был первым из русских отставных вельмож, кто не спрятался в своем подмосковном имении, а начал жить свободно, принимать у себя гостей, устраивать праздники, держать открытый стол. Разумовского очень любили в обществе, и теперь к нему с охотой ездили, и приглашали к себе. Гулянья в великолепном парке, вокруг его городского дома, куда вход был открыт, сделалось заметной чертой московского городского быта второй половины XVIII в. Жители старой столицы воочию видели, как бывший государственный деятель после заката своей яркой карьеры ведет светскую жизнь среди других людей.

Скончался Алексей Григорьевич 6 июля 1771 г., во время одной из поездок в Петербург, и был похоронен в Александро-Невской лавре. Для большинства пришедших его проводить в последний путь он был уже не вельможей, а просто человеком из общества.

5 октября 1770 г. в Петергофе на великолепном празднике в честь взятия Бендер Екатерина II пожаловала графа Петра Ивановича Панина орденом св. Георгия 1-ой степени. Возлагая на командующего 2-й армии генерал-аншефа Панина знаки недавно учрежденного ею воинского ордена, императрица не испытывала удовольствия. До нее давно доходили слухи о том, что Петр Иванович любую преграду берет, не считаясь с потерями. Теперь эти слухи подтвердились: осада Бендер была долгой, даже по официальным донесениям погибло более 6 тысяч человек, а после штурма 16 сентября 1770 г. город отдали на разграбление армии-победительнице.

Не был доволен полученной наградой и сам герой. Есть сведения, что Панины мечтали о фельдмаршальском жезле для Петра Ивановича. Не получив желаемого, покоритель Бендер подал в отставку 19 октября 1770 г. и уехал в Москву. Столь резкая отставка, всего через несколько дней после награждения, выглядела как политический демарш. Генерал Панин был фигурой настолько заметной, что о его поступке сообщили своим дворам все иностранные представители в Петербурге. Императрица направила главнокомандующему старой столицы князю Михаилу Никитичу Волконскому строжайшие инструкции следить за деятельностью Панина в Первопрестольной.

Один из виднейших русских масонов своего времени, Петр Иванович Панин вместе с своим братом — главой Коллегии иностранных дел Никитой Ивановичем Паниным долгие годы руководил прусской партией при петербургском дворе. При всей внешней несхожести братья как нельзя лучше дополняли друг друга: мягкий, вкрадчивый, неторопливый дипломат и мрачный неразговорчивый генерал с крутым решительным характером подчинили своему влиянию всех сторонников наследника престола, великого князя Павла Петровича. Чем ближе становилась роковая дата совершеннолетия Павла, тем большее число знатных особ желало влиться в ряды его приверженцев. К началу 1770-х гг. партия Паниных набрала небывалый политический вес и начала заметно теснить своих противников — Орловых.

Главнокомандующий Москвы М. Н. Волконский учредил за Петром Ивановичем «присмотр надежных людей», как он сообщал императрице. Так генерал Панин попал под негласный надзор — случай в политической практике екатерининского царствования не частый. По всему было заметно, что императрица видела в брате канцлера серьезного противника. Согласно донесениям Волконского, в Москве Петр Иванович подвергал строгой критике правительственные меры, подрывая в дворянских кругах старой столицы доверие к императрице, и настойчиво твердил, что в 1772 г., после совершеннолетия сына, Екатерина II передаст ему корону. Результатом этой деятельности Панина стало изменение общественного мнения старой столицы в пользу наследника престола. В 1771–1772 гг. подобные слухи достигли своей кульминации. Московские поэты-масоны А. П. Сумароков, В. И. Майков и И. Ф. Богданович обращались к Павлу Петровичу с одами, подчеркивая предпочтительность мужского правления перед женским, отмечались черты характера цесаревича, присущие истинному государю, восхвалялись воспитатель наследника — Н. И. Панин — и «незабвенный завоеватель Бендер» — П. И. Панин. Таковы были явные знаки подспудных брожений в дворянском обществе старой столицы.

Но имелась и другая, тайная, сторона жизни Петра Панина в Москве, которую даже «надежные люди» Волконского заметить не могли в силу ее полной конспиративности. Шифрованная переписка генерала с Денисом Ивановичем Фонвизиным, секретарем и ближайшим сотрудником Никиты Ивановича Панина в Петербурге — это ценный эпистолярный комплекс, который исследован в наши дни историком О. Ф. Соловьевым. Письма Фонвизина с февраля 1771 по август 1772 гг. предоставляли Петру Панину подробную информацию о политической жизни двора, о ходе войны с Турцией, передвижениях чиновников по службе. По приказу Никиты Ивановича, Фонвизин снимал копии с многочисленных документов, проходивших через Коллегию иностранных дел, особенно с инструкций императрицы послам России за границей и отчетов последних в Петербург, донесений с театра военных действий, докладов братьев Орловых и других противников Паниных, и через специальных курьеров отправлял их в Москву Петру Ивановичу. Заметьте — Денис Иванович передавал государственную информацию секретного характера частному лицу. На такое вопиющее нарушение служебных инструкций, Фонвизин мог пойти лишь, будучи уверен в своей безнаказанности. Такую уверенность давала надежда на скорое изменение положения «царствующей особы» на российском престоле. Главную роль в грядущих переменах сторонники наследника отдавали Петру Панину.

Кем же был человек, который, находясь в отставке и внешне пребывая не у дел, держал в своих руках нити обширного государственного заговора и двигал из старой столицы, как марионеток на сцене, фигуры в Петербурге?

Петр Иванович Панин родился в 1721 г. в семье генерал-поручика И. В. Панина и А. В. Эверлаковой. В возрасте 14 лет Петр Панин был определен в Измайловский полк капралом, а уже через год переведен в армию, действовавшую против турок. Шестнадцатилетним юношей он участвовал во взятии Перекопа и Бахчисарая. Раннее начало военной карьеры и не просто в полку, а на театре боевых действий наложило тяжелый отпечаток на характер молодого Панина. Пока его старший брат Никита Иванович пребывал в Данциге, где служил отец, или находился при дворе Елизаветы Петровны в качестве камер-юнкера, младший проходил кровавую школу. При железной воле Петра Ивановича, как отмечали современники, его отличали грубость, несдержанность, высокомерие и жестокость.

В 36 лет Панин стал генерал-майором, имея за спиной кампанию со Швецией. В годы Семилетней войны он отличился почти во всех крупных сражениях: при Грос-Егерсдорфе, Цорндорфе, Кунерсдорфе и взятии Берлина. При Ландберге его контузило, но жестокий к другим, Панин оказался беспощаден и к себе, и уже через несколько дней он встал в строй. По окончании войны в 1762 г. Петр Иванович был назначен губернатором Восточной Пруссии, отсюда потянутся его связи с прусским масонским братством. Взлет в его карьере начался после переворота 1762 г., в котором одну из руководящих ролей играл его брат — Никита Иванович. Петр Иванович за свои заслуги в минувшую войну был награжден чином генерал-поручика, орденом св. Александра Невского и получил шпагу с бриллиантами. В последующие годы императрица пожаловала Панина в сенаторы, возвела в графское достоинство и сделала членом Государственного Совета.

От брака с первой женой А. А. Татищевой генерал имел 17 детей, которые умирали в младенчестве. Заставляя болезненную женщину снова и снова рожать, он в конце концов свел ее в могилу. В 1767 г. Панин опять женился, теперь на фрейлине М. Р. Вейдель, принесшей ему пятерых малышей, из них выжили только сын Никита, будущий канцлер, и дочь Софья.

После отставки Москва приняла Петра Ивановича как незаслуженно обиженного героя войны, и генерал блестяще воспользовался своим положением. При всяком удобном случае он старался задеть Волконского и выставить московские власти в невыгодном свете. В декабре 1772 г. скончался старый друг Панина — тоже крупный московский масон, фельдмаршал Петр Семенович Салтыков, который будучи московским генерал-губернатором во время Чумного бунта 1771 г., бросил старую столицу на произвол судьбы и уехал в свое имение Марфино. Императрица уволила Салтыкова в отставку. 26 декабря 1772 г. Салтыков умер, но Волконский не распорядился оказать покойному должные воинские почести. Тогда Панин приехал в Марфино и встал у гроба с обнаженным палашом, отказываясь уйти до тех пор, пока не прибыл почетный караул. Этим поступком Петр Иванович снискал большое уважение москвичей, быстро забывших позорное бегство Салтыкова и Старая столица превозносила благородное поведение отставного генерала.