Пётр Васильевич искренно и глубоко полюбил Екатерину, ревновал её, страдал, навязчиво стремился выяснить с ней отношения, постоянно объяснялся ей в любви. Екатерину, занятую многими делами (в 1775 году она писала Наказ, несколько раз, принимая советы Потёмкина и других, переписывала его), его приставания стали просто раздражать. Это было против законов фаворитизма, непонятно Екатерине и потому вызвало обратную реакцию — полное к нему охлаждение. Г. А. Потёмкин, скрывая ревность, тоже показывал, что не понимает такого немужского поведения, и способствовал охлаждению Екатерины к Завадовскому, что ускорило отставку фаворита как неделового человека Императрица наградила Петра Васильевича Завадовского «за верную службу» поместьями в Черниговской и Могилёвской губерниях, отдалила его от себя, но, зная покладистый характер бывшего своего фаворита и искренние его чувства к ней, оставила его при дворе.
Пётр Завадовский, тосковавший по любимой женщине, отвергнутый ею, хотел доказать Екатерине, что он может быть деловым, может служить ей и своей родине честно и верно.
Дальнейшей карьере Петра Васильевича способствовал его верный друг Александр Андреевич Безбородко, бывший статс-секретарём Кабинета Екатерины II, а затем ставший канцлером Российской империи (I класс Табели о рангах), а кроме того, милостивое к Завадовскому отношение императрицы Екатерины II, а затем императора Павла I.
Воцарившийся на русском престоле Павел I покровительствовал всем обиженным его матерью, а потому и Петру Васильевичу Завадовскому уделил особо милостивое внимание: он возвёл его в графское Российской империи достоинство, наградил орденом Св. Андрея Первозванного, назначил главным директором Дворянского и Заёмного банков и поручил руководить медицинской частью и женскими учебными заведениями. Кроме того, Завадовский должен был продолжать свою деятельность сенатора.
Переменчивость характера императора Павла, его вспыльчивость и непродуманные скоропалительные решения о наказании подданного, не угодившего ему, в 1800 году коснулись и графа Завадовского: он попал в опалу.
Завадовский уехал из столицы и поселился в своём имении Ляличи, в роскошном дворце, построенном по проекту Кваренги и подаренном ему Екатериной II.
Александр I чуть ли не в день своего воцарения на престоле вспомнил о графе Завадовском, вызвал его в Петербург и назначил председателем Комиссии составления актов. В 1802 году император, преобразовавший коллегии в министерства, назначил графа Завадовского министром народного просвещения и в соответствии с должностью присвоил ему чин действительного тайного советника (II класс Табели о рангах).
Вот что писал о министре графе Завадовском лично знакомый и сотрудничавший с ним Адам Чарторыйский: «Граф Завадовский был назначен министром народного просвещения. Он служил секретарём у графа Румянцева в одно время с Безбородко, своим закадычным другом Граф Румянцев представил их обоих, как секретарей, императрице Екатерине, что положило начало их блестящей карьере. Безбородко выдвинулся вскоре своей работоспособностью и сообразительностью; он пользовался неизменным доверием государыни и достиг высших должностей в империи. Сознавая свое собственное достоинство, он был единственным человеком, не кадившим фаворитам и державшимся на высоте, благодаря личным заслугам Завадовский добился того же, но другим путем. Он стал фаворитом Екатерины и привязался к ней до такой степени, что, лишившись через полгода ее расположения, почувствовал себя глубоко несчастным Его друзья, Воронцов и Безбородко, советовали ему философски отнестись к своему положению. В утешение он получил от императрицы подарки, на которые она не скупилась для своих бывших фаворитов. На этот раз подарки ее были особенно значительны, так как, помимо своего личного расположения, она многим была обязана Завадовскому. Впоследствии он женился, но продолжал быть в милости при дворе. В министерство народного просвещения он был приглашен благодаря своему другу, графу Воронцову, а также и потому, что между старыми вельможами он прослыл за знатока русского правописания, и многие манифесты времен Екатерины принадлежали его перу. Это знание создало ему положение и репутацию ученого.
Завадовский был добрым и справедливым человеком, но тяжеловесным и неповоротливым, как по уму, так и по внешнему виду, не отличался быстротой соображения и не умел схватывать оттенков дела; между своими современниками, не желавшими ничему научиться и ничего забыть, он выделялся своим сочувствием новым идеям и вводимым улучшениям. Это не мешало ему в высшей степени обладать отличительной чертой каждого русского администратора безграничной преданностью и полным преклонением перед тем, что исходит свыше. Он приходил в восторг от чтения классических авторов и с удовольствием цитировал отрывки из них, удержавшиеся в памяти. Русская литература его тоже сильно интересовала По странной случайности он получил образование и изучил латинский язык в польской иезуитской коллегии. Он не забывал польского языка и рисовался этим, говоря с восхищением о нашем старинном поэте Яне Кохановском, из сочинений которого он знал несколько отрывков наизусть. Благодаря этому он питал особую любовь ко всему польскому, выражавшуюся даже в мелочах, хотя бы в том, например, что на его обедах всегда подавались польские кушанья.
В то время как другие попечители часто встречали сопротивление своим действиям со стороны министров, не всегда расположенных уступать новым веяниям реформы и прогресса, я, со своей стороны, не могу ни на что пожаловаться, так как пользовался полным доверием графа Завадовского. Достаточно было с моей стороны малейшего предположения, чтобы он тотчас же поддержал меня с полной готовностью. Я ему крайне обязан за его снисходительность, откровенность и дружбу, которыми он меня постоянно дарил».
Пётр Васильевич Завадовский, бывший фаворит Екатерины II, стал первым министром народного просвещения в Российской империи. На этом посту он развернул широкую деятельность, проявив себя талантливым организатором и руководителем. При нём были открыты Казанский, Харьковский и Дерптский университеты, Главный педагогический институт, много средних и низших училищ. Тогда же был составлен цензурный устав, отличавшийся либеральной направленностью. И всё это было сделано всего за восемь лет службы Завадовского на посту министра народного просвещения. В 1810 году Александр I, освободив Завадовского, которому в ту пору шёл уже восьмой десяток лет, от должности министра, назначил его на почётный пост председателя Департамента законов Государственного совета.
Действительный тайный советник, сенатор, член Государственного совета, фаворит Екатерины II с апреля 1776 по май 1777 года, граф Пётр Васильевич Завадовский скончался 10 января 1812 года в Санкт-Петербурге и был похоронен с почестями на Лазаревском кладбище Александро-Невской лавры. Всей своей деятельностью после отставки его как фаворита он сумел доказать, что он не «неделовой человек», а подлинно государственный муж.
Потёмкин с первого же дня возвышения Завадовского при дворе начал искать ему замену. Но подходящих кандидатур не было. Наконец, к нему в армию прибыл 39-летний герой-кавалерист, красивой южнославянской наружности, серб по происхождению, — Семён Гаврилович Зорич (1738-?). Он был всего на девять лет моложе Екатерины II, но являл собой образец мужчины в полном расцвете сил и красоты.
Светлейший князь взял его к себе в адъютанты и почти сразу же представил к назначению командиром лейб-гусарского эскадрона. Это назначение не было случайным: лейб-гусары являлись личной охраной императрицы, и чтобы Зорич в этом звании был утверждён, необходимо было его представить лично Екатерине II.
В мае 1777 года Потёмкин испросил у императрицы аудиенцию для представления Зорича. После беседы с Зоричем Екатерина предоставила Завадовскому отпуск на полгода. Это был знак, что Зорич воспринят императрицей как её потенциальный фаворит. И действительно, по удалении Завадовского Зорич был пожалован в полковники, затем во флигель-адъютанты и шефы лейб-гусарского эскадрона.
