Державин даже называл Безбородко своим «ангелом-благотворителем» и считал его «единственным, милостивейшим, особенным благодетелем и покровителем».

Впрочем, это мнение не мешало Державину покалывать Безбородко в своих стихах. Он грубовато задел его в оде «На счастье» и в оде «Вельможа», в которой резко отзывался о сибаритстве нынешних вельмож, их недоступности и невнимательности к талантам.

Безбородко многим помог известному масону Новикову. Когда была запрещена «книжная лавка» Новикова, за ходатайством он обратился к Безбородко. И Екатерина по слову последнего дозволила Новикову снова производить продажу книг.

Пытался помочь Безбородко и Радищеву, но Екатерина считала этого писателя вреднее и опаснее Пугачёва, и заступничество Александра Андреевича не имело успеха.

Словом, где мог и кому мог, помогал Безбородко. Но ему никто не сумел помочь, когда наступили для него чёрные дни. Он по-прежнему ездил во дворец и, как прежде, составлял для Екатерины доклады. Но что это были за дела, к которым был приставлен теперь бывший всемогущий первый секретарь государыни! Челобитные, прошения об отставках, просьбы о наградах и милостях — Безбородко сам называл их делами мелкими, ничтожными.

До отъезда в Яссы Безбородко все дела по Иностранной коллегии поручил Моркову. А тот перебежал к Зубову, и все важнейшие документы, все трактаты и договоры с державами были теперь в его руках. Зато в короткий срок Морков стал графом и владельцем четырёх тысяч крестьянских душ.

Когда бы ни являлся Безбородко к государыне, в её кабинете уже сидел могущественный советник Зубов, его слово было первым и принималось императрицей милостиво.

Объясняя положение Безбородко при Екатерине в этот момент, Завадовский писал графу Воронцову в Лондон:

«Безбородко, разжигаясь честолюбием, равно и легкомысленностью захватить весь кредит, когда не стало князя, кинулся в Яссы. При отъезде, из трусости врождённой, поручил внутренний портфель Зубову, а внешний — Моркову. Последнего разумел себе первым другом, а у первого думал найти там связь.

Возвратившемуся после мира в голубой ленте, при первой встрече, дано было почувствовать, что дела уже не в его руках.

Итак, с тех пор без изъятия Зубов управляет всеми внутренними делами, Моркова имея под собою для письма иностранного. Ни один из фаворитов, даже сам всемогущий князь Потёмкин, не имел столько обширной сферы, ибо владычество его простиралось на один только департамент, а к настоящему все придвинуты...

Александра Андреевича роль препостыднейшая. Всяк на его месте, стяжавши доходу 150 тысяч, удалился бы, но он ещё пресмыкается в чаянии себе лучшего, а наипаче корыстного, не имея духа на шаг пристойный. Низким терпением и гибкостью спины многие дождались погоды. Он последует этому правилу. Разве вытолкают взашей. Без того не уклонимся, чужд быв нравственных побуждений...»

Зубов знал о Милорадовиче, которого приютил в своём доме Безбородко в своих видах, и потому ненавидел старого секретаря со всем пылом молодости. И борьба складывалась не в пользу старика.

«Когда я, из единого, конечно, усердия к отечеству, напросился на поездку в армию, — жаловался Безбородко в письме своему другу, — и я тогда думал, что моя отлучка даст повод к разделению дел многочисленных и силы человеческие, паче же в моих летах и здоровье, превышающих, то был спокоен, полагая, что успех моей кампании даст мне повод поставить себя так, что, ежели угодно, я буду отправлять только самые важнейшие дела и найду для себя превеликое облегчение, сходное с чином, с состоянием и службою моими...

Но что нашёл я? Нашёл я идею сделать из Зубова, в глазах публики, делового человека. Хотели, чтобы я по делам с ним сносился, намекали, чтоб я с ним о том, о другом поговорил, то есть чтобы я пошёл к нему. Но Вы знаете, что я и к покойному (Потёмкину) не учащал, даже и тогда, когда обстоятельства нас в полное согласие привели. Вышло после на поверку, что вся дрянь, как-то: сенатские доклады, частные дела — словом сказать, всё неприятное, заботы требующее и ни чести, ни славы за собою не влекущее, на меня взвалено, а, например, дела нынешние польские, которые имеют связанные с собою распоряжения по армиям, достались Зубову. Много я потерпел неприятностей, борясь с сею конфузией, и много надобно было выдержать баталий, чтоб хотя дело исправить, не зная ещё, как кончится...»

Жалобы его были справедливы, но никто не мог помочь горю. Зубов вершил теперь все дела, а на него императрица смотрела как на настоящего гения, способного решить любую задачу.

Безбородко спорил с временщиком, старался показать Екатерине, что этот молодой человек не обладает ни способностями к государственным делам, ни силой ума. Но как говорят, ночная кукушка всегда перекукует дневную. Так произошло и в этом случае. Императрица стала скучать на докладах Безбородко, отстраняла его от себя, как только могла...

При таких обстоятельствах Безбородко ничего не оставалось делать, как выяснить точно свою роль и значение при государыне, и он написал ей обширную записку, озаглавив её «К собственному Вашего императорского величества прочтению».

Длинная и красивая получилась записка. Он напоминал в ней Екатерине, что был при ней неотлучно восемнадцать лет, что всегда шёл путём правым и был вполне откровенным и всякие на его счёт порицания лишь — клевета, завистью и злостью на него воздвигнутая.

Напомнил он императрице и свои труды по заключению Ясского мира:

«По возвращении моём я и паче удостоверился, что подвиг мой был Вам угоден. Ваше величество желали, чтобы я паки за дела принялся, требовали, чтоб я точно на том же основании, как и прежде, чтобы, не обинуясь, о всём представлял Вам и сказывал откровенно мои мысли. Сему монаршему изречению повиновался я и по долгу подданного, и по долгу благодарности. Доклады мои представлял Вам скороспешно и точно. Если мне казалось, что мои представления не в том уже виде и цене принимались, как прежде я был осчастливлен, то по крайней мере служило мне утешением, что я исполнял перед Вами мою обязанность и что дела, о которых я писал или говорил, производимые в исполнение, приносили свою пользу.

Не могу, однако, скрыть перед Вашим величеством, что вдруг нашёлся я в сфере дел, так тесно ограниченной, что я предаюсь на собственное Ваше правосудие: сходствует ли оно и с степенью, от Вас пожалованною, и с доверенностью, каковою я прежде удостоен был? А сие и заставило меня от всяких дел уклоняться...

Всемилостивейшая государыня! Если служба моя Вам уже неугодна и ежели, по несчастью, лишился я доверенности Вашей, которую вяще последним моим подвигом заслужить уповал, то, повинуясь достодолжной воле Вашей, готов от всего удалиться, но если я не навлёк на себя такого неблаговоления, то льщу себя, что сильным Вашим заступлением охранён буду от всякого унижения, что, будучи членом совета Вашего и вторым в иностранном департаменте, имея под моим начальством департамент почт и нося при том на себе один из знатных чинов двора Вашего, не буду я обязан принятием прошений и тому подобными делами, которыми я ни службе Вашей пользы, ни Вам угодности сделать не в состоянии. Готов я, впрочем, всякое трудное и важное препоручение Ваше исправлять, не щадя ни трудов моих, ниже самого себя...»

Безбородко передал записку Екатерине через камердинера Зотова, с которым сохранил самые дружеские отношения. Екатерина с вниманием перечитала записку старого секретаря, задумалась, долго сидела, подперев голову руками, а затем написала Безбородко ответ на его записку на трёх страницах.

Опять-таки Зотов передал ответ Екатерины Безбородко, и он уехал домой, долго изучал его и пришёл к выводу, что появляться при дворе уже нежелательно.

Государыня не решилась обидеть старого служаку, и ответ её был вежлив, милостив, но твёрд.

В своём «Дневнике» секретарь Екатерины Храповицкий так характеризует этот отзыв императрицы: