Возня вокруг Воронцова, кажется, происходила без всякого участия Елизаветы. Когда однажды Бруммер начал хвалить ей вице-канцлера Воронцова, она сказала: «Я имею о Воронцове очень хорошее мнение, и похвалы такого негодяя, как ты могут только переменить это мнение, потому что я должна заключить у что Воронцов одинаких с тобой мнений». Одна эта фраза делает честь нашей якобы взбалмошной и не расположенной к государственным делам императрице. С наглецами и подлецами она не церемонилась.
Весной 1744 года Фридрих II принялся хлопотать о пожаловании Воронцову титула графа Священной Римской империи, а в августе 1745 года французский посол д'Аллион уверенно (в который раз!) писал в Париж о скором падении Бестужева-Рюмина. Год спустя он уже более осторожно предполагал, что Бестужева можно было «ослепить» лишь крупной взяткой, в то время как Воронцов мог бы удовлетвориться «пенсией». В начале июня 1745 года д'Аллион сообщил министру иностранных дел Франции д'Аржансону, что он предложил «ослепительную» сумму денег канцлеру, но тот выслушал его предложение равнодушно. Воронцов без всякой пенсии и взятки дал д'Аллиону заверения в том, что Франция могла всегда полагаться на дружественное к себе отношение со стороны русского двора, и посланник радостно сообщил в Париж, что сэкономил на вице-канцлере королевские деньги.
Михаил Илларионович знал, что канцлер внимательно следил за входящей и исходящей корреспонденцией иностранных министров в Петербурге, и проявлял крайнюю осторожность в своих контактах с ними. На перлюстрированной и декодированной депеше д'Аллиона он сделал оправдательную пометку о том, что если француз предложит ему взятку в виде 50 тысяч, он откажется от неё, потому что раньше не соблазнился и 100 тысячами рублей. Но Воронцова подвела следующая депеша д'Аллиона, в которой говорилось: «Почти нет сомнения, что Воронцов свергнет Бестужева, и это событие не заставило бы себя долго ждать, если б, по несчастию, нездоровье г. Воронцова не принуждало его ехать… за границу». Вице-канцлер поспешил отмежеваться от д'Аллиона пометой о том, что французский министр никаких заверений по поводу свержения канцлера от него не получал, и что Бестужеву «кроме прямой дружбы, от меня ничего инаго не будет». Но обмануть канцлера этой отговоркой было трудно: он наверняка уже доложил об этом эпизоде Елизавете Петровне и сделал необходимые для себя выводы.
Воронцов, по выражению английского посланника Хинд-форда, снял маску в апреле 1745 года, когда в Петербурге проходила конференция с участием Бестужева, Воронцова и посланников Англии (Хиндфорд), Австрии (Розенберг), Голландии (Дедье) и Саксонии (Петцольд). На конференции обсуждался вопрос о присоединении России к Варшавскому договору. Воронцов, соблазнённый предложением д'Аллиона о четверном союзе Франции, России, Пруссии и Саксонии, открыто выступил против участия России в этом антифранцузском и антипрусском союзе, и Хиндфорд 29 апреля писал лорду Картерету: «Другмой (Бестужев. — С. С.) намерен подать своё мнение в самых сильных выражениях, если соперник осмелится подать своё в таких же». Но Бестужеву-Рюмину, судя по всему, пришлось пойти на компромисс с Воронцовым, потому что в его ответе послам от 30 мая говорилось, что России незачем было присоединяться к Варшавскому договору, поскольку она и так уже связана целым рядом двусторонних соглашений с его странами- участниками. Думается, это отступление от своей системы было допущено Бестужевым не без давления со стороны Елизаветы Петровны.
И канцлер, и вице-канцлер знали, что окружение рассматривало их как непримиримых соперников, и уже этого было достаточно, чтобы они видели, что между ними брошен нож. Единственным выходом для Воронцова было стать в открытую оппозицию к канцлеру и попытаться завоевать собственный авторитет. Сделать это было легко и выгодно: и страна, и государство, и люди устали от пертурбаций, переворотов и войн, а канцлер не уставал призывать всех к новым испытаниям и утверждению России на европейской арене. Это было полезно и необходимо, но кто в то время полностью разделял эти взгляды? Изоляционизм был в крови русских людей, а заграницу после Петра I его птенцы стали воспринимать лишь как возможность приобщиться к роскоши. Да и этой роскошью могли воспользоваться всего десятка два-три аристократов.
Так что Воронцов мог успешно играть роль «патриота». Для этого не было нужды менять систему — достаточно было ограничиться лёгкой помощью Австрии и Саксонии и пугать Пруссию сильными демаршами и дипломатическими представлениями, не ввязываясь в разорительные войны. Это вполне отвечало и русскому менталитету, и интересам тех же Франции и Пруссии, которые рьяно принялись отрывать Воронцова от Бестужева.
Соловьёв пишет, что позиция Воронцова в прусско-саксонском конфликте — ограничиться лишь денежной поддержкой для Дрездена и ролью посредника между обеими воюющими странами — стала для него роковой. Она сильно не понравилась Елизавете, и она уже без всякой дипломатии дала понять вице-канцлеру, что не возражает, если бы он выехал на некоторое время подлечиться за границу.
29 августа императрица подписала паспорт на выезд Воронцова «в чужие края» и рескрипт ко всем иностранным дворам с извещением о выезде вице-канцлера в Европу. Коллегиальное обсуждение прусско-саксонского конфликта состоялось уже без Воронцова. Париж и Берлин в очередной раз просчитались, верх в борьбе за власть в Коллегии иностранных дел выиграл Бестужев, а Воронцов был вынужден отправиться с женой и секретарём Ф.Д. Бехтеевым в путешествие по Европе. Его маршрут с сентября 1745 года по август 1746 года включал Берлин, Дрезден, Прагу, Вену, Венецию, Рим, Неаполь и Париж. Уезжая, он оставил императрице пророчество о том, что англичане, на которых канцлер делал такую сильную ставку, в конечном итоге подведут Россию и заключат с Пруссией отдельный мир. К сожалению, это пророчество скоро сбылось.
Проезжая через Берлин, Воронцов посетил Фридриха II, чем навлёк на себя дополнительный гнев Елизаветы Петровны. Вернувшись через год домой, он, казалось, окончательно утратил все шансы на то, чтобы при Бестужеве-Рюмине вернуться к занятиям внешней политикой. Но он придёт туда снова, хотя для этого нужно будет «уйти» самого Бестужева-Рюмина.
В октябре 1745 года из Парижа пришла реляция советника миссии Г. Гросса, сильно раздражившая Елизавету Петровну. Гросс докладывал, что во время аудиенции у статс-секретаря МИД Франции Рене-Луид'Аржансона(1694—1757) последний «с порицанием отозвался о канцлере и его брате, почитая их, как и его, Г роса, английской стороне преданными, и что они якобы несходственно с намерениями Её Императорскаго Величества в делах поступают». Императрица указала своему послу в Голландии А.Г. Головкину (1688—1760) предпринять перед французским посланником аббатом де ла Биллем демарш и выразить королю Франции своё возмущение поведением д'Аржансона. Аналогичное указание получил канцлер Бестужев-Рюмин: он должен был «о таких даржансовых поношениях пристойным и по возможности чувствительным образом выговорить» послу в Петербурге д'Аллиону. Конечно, императрица в первую очередь защищала собственную честь и честь страны, но одновременно она вступалась и за своего канцлера, брала его под свою защиту и демонстрировала его обидчикам, что Алексей Петрович пользуется у неё полным доверием.
Послу Головкину в это же время поступил указ Елизаветы о покупке у некоего амстердамского купца крохотной мартышки «сирень, обезьяна, цветом зелёная и толь малая, что совсем входит в индейский орех… и чтоб оную для куриозности бы ко Двору Нашему достать…». Письмо с указом пришло к Головкину за подписью Великого канцлера и вице-канцлера — ко всему прочему им приходилось заниматься и мелкими забавами своей государыни! Мартышка была куплена и доставлена Елизавете Петровне с нарочным курьером гвардии сержантом Валуевым. Неизвестно только, с орехом или без.
Но «великим» императрица своего канцлера не признавала, несмотря на титул. Жан-Луи Фавье, секретарь французской миссии в Петербурге в 1760-е годы в своих записках приводит показательный эпизод: Бестужев как-то в присутствии императрицы «зарапортовался» и назвал себя согласно официальному титулу «великим» и тут же получил щелчок по носу: «Знайте, — сказала она ему, — что в моей империи только и есть великого, что я да великий князь, но и то величие последнего не более, как призрак».