Судя по всему, взаимопонимания со своими сотрудниками канцлеру достигнуть так и не удалось. Веселовский высказал мнение о том, что в коллегии теперь редко проводятся общие совещания и слушания дел, на которых вырабатываются и согласовываются решения по всем важным делам. В ответ Бестужев сказал, что он отказался присутствовать на этих собраниях, потому что вместо конструктивного обсуждения его предложений получал там одни лишь критические замечания. Эти сидения в коллегии были пустой тратой времени — «…я гораздо больше у себя дома… нужнейших дел исправлять могу».
И перепалка закончилась ничем.
На этой беседе чувствуется незримое присутствие вице-канцлера Воронцова, и Веселовский выступал явно от его имени. Из беседы явствует, что тайный советник ведёт себя в разговоре с канцлером довольно независимо, виноватым себя не чувствует и без всякого стеснения по каждому поводу возражает Бестужеву. Оно и понятно: заменивший Мардефельда Финкенштейн продолжил курс на свержение Бестужева-Рюмина и поддерживал дружбу с «важными и смелыми приятелями», то есть Воронцовым и Лестоком. Вместе они склонили на свою сторону бывшего члена бестужевского кружка и протеже Алексея Петровича тайного советника И. Веселовского, умного, деятельного человека, посвященного во многие тайны канцлера. На этой беседе Веселовский выступал уже клевретом Воронцова.
А когда-то еврей Веселовский имел на Бестужева-Рюмина определённое влияние: он даже уговорил его, тогда вице-канцлера, похлопотать перед Елизаветой Петровной об отмене указа от 13 декабря 1742 года о высылке всех евреев из Малороссии. Хлопоты, правда, ни к чему не привели, императрица указ не отменила, но дружбе Алексея Петровича с Исааком Веселовским это не помешало. И вот теперь Веселовский переметнулся в лагерь его противника…
Конечно, зря Алексей Петрович игнорировал Коллегию и её членов. Тем самым он предоставил в ней Воронцову большую свободу действий. Комментируя эту беседу, Соловьёв пишет, что, конечно же, канцлер сваливал вину с больной головы на здоровую: он сам приучил членов коллегии к бездействию, лично «исправляя все дела» на дому и не предоставляя им никакой инициативы. С этим также трудно не согласиться.
А в отношении бывшего друга Веселовского Бестужев всё-таки попытался отыграться: он написал Елизавете Петровне донос о том, что на одном из дипломатических приёмов Исаак Веселовский отказался пить здоровье государыни: «Один только Веселовский полон пить не хотел, но ложки с полторы и то с водкою токмо налил и в том упрямо пред всеми стоял, хотя канцлер из верности Ея Императорскому Величеству и из стыда перед послами ему по-русски говорил, что он должен сия здравие полным бокалом пить, как верный раб, так и потому, что ему от Е.И.В. много милости показано пожалованием его из малого чина в столь знатный». Но из доноса ничего не вышло: государыня донос проигнорировала и осыпала Исаака Павловича новыми милостями. И это при том, что «жидов» Елизавета Петровна очень не любила.
В 1747 году Бестужев подал, как он теперь стал часто выражаться, своё «слабейшее мнение» в пользу роспуска Сената и учреждения вместо него Кабинета министров, «не имея притом никакого о себе вида». Сенат и на самом деле представлял собой громоздкое бюрократическое учреждение, с трудом проворачивавшее свои механизмы. При этом канцлер отлично знал, что он шёл против мнения императрицы, настаивавшей на том, чтобы сохранить это наследие Петра I. Сведений о том, что инициатива Бестужева каким-либо образом повлияла на его положение, нет, но нет сомнения и в том, что этим воспользовались его враги, чтобы обвинить в намерении подмять под себя весь государственный аппарат. В Кабинете министров канцлер, по всей вероятности, рассчитывал занять главенствующее положение.
Среди его преданных и немногословных исполнителей история сохранила имена саксонца Функа (не путать с Функом, «отличившимся» написанием памфлетов в Швеции), саксонца Прассе и итальянца Санти. Примечательно, что русский патриот Бестужев-Рюмин своим соотечественникам явно не доверял и в круг своих конфидентов их не привлекал. Кто же были эти конфиденты?
Функ, секретарь саксонской миссии в Петербурге, вплоть до 1754 года исполнял при канцлере фактическую роль заместителя, будучи и главным его советником, и вдохновителем. «Он был необходимым alter ego человека, решительно не способного выполнить задачу, значительно превышающую его дарования, — зло пишет явно не расположенный к личности Бестужева Валишевский, — был его мозгом и его правой рукой». Преемник Функа, сотрудник саксонской миссии Прассе, вкладывал в своё дело столько же рвения, что и Функ, но уступал ему в способностях. Валишевский утверждает, что, когда французской дипломатии в 1754 году удалось избавиться от Функа, «Бестужев оказался телом без души, плывшим по течению вплоть до падения в роковую бездну». В 1754 году Функ, уже будучи посланником короля Августа III, без объяснения причин был назван Елизаветой «неугодным министром дружеской державы» и по её настоятельному требованию, при полном недоумении саксонского двора, отозван из России. Здесь явно чувствуется рука вице-канцлера Воронцова.
Итальянец Санти был полезен Бестужеву в делах этикета, протокола и внешних приличий. Он учил канцлера, как себя держать с иностранными министрами и прочими дипломатами и эмиссарами.
В августе 1747 года Воронцов принял прусского посланника Финкенштейна. В отчёте об этой аудиенции Финкенштейн назвал вице-канцлера «важным приятелем» Пруссии. Согласно отчёту, Воронцов рассказал пруссаку о том, что Бестужев обвиняет его в передаче секретных сведений прусскому королю, в то время как он, человек честный и благонамеренный, якобы просто не умеет хранить тайны и искренно делится ими, питая любовь к Фридриху П. Воронцов рассказал пруссаку также о своих последних беседах с Елизаветой, на которых он излагал свои мысли о том, как сократить чрезмерные полномочия канцлера, в том числе предложение о том, чтобы все дела Бестужев решал только через Коллегию иностранных дел. Письменный проект вице-канцлера императрица оставила у себя, пообещав внимательно изучить его на досуге.
Вице-канцлер в своей «искренней любви» к прусскому королю пошёл ещё дальше и предупредил Финкенштейна о том, чтобы тот в своей переписке проявлял осторожность, потому что агенты Бестужева перехватывают депеши иностранных министров и читают их. Финкенштейн подумал, что «смелый» его друг трусит и не поверил последнему его заявлению. Тогда Воронцов рассказал пруссаку содержание его последней депеши в Берлин, чем поверг его в чрезвычайное изумление.
Болтливость Воронцова, граничившую с предательством, Финкенштейн вознаградил «сногсшибательной новостью» о том, что канцлер замешан в заговор в пользу Иоана Антоновича. Воронцов нашёл смелость возразить своему другу, сказав, что такое Бестужев просто не в состоянии предпринять.
Вот с таким вице-канцлером приходилось работать Бестужеву-Рюмину, вот так деградировал человек, бывший когда-то его ближайшим помощником.
В борьбу с Бестужевым в 1747 году включился и послушный Франции Стокгольм. Шведы посчитали действия своего посла в Петербурге в этом отношении слишком слабыми и заменили его новым — Вульфеншерной. Посланнику в Стокгольме Корфу удалось добыть информацию о полученных новым послом секретных инструкциях: главной задачей Вульфеншерны было определено свержение канцлера Бестужева со своего поста (разумеется, в союзе с д'Аллионом и Финкенштейном). Швед должен был также стараться — ни больше и ни меньше — сменить настоящий русский кабинет министров другим, более дружественным шведам. Шведский посланник должен был войти в контакт с врагами Бестужева и выяснить, на каких придворных дам можно было бы делать при этом ставку. Почему именно дамы? Как пишет Соловьёв, Стокгольм рассчитывал на смазливое лицо Вульфеншерны, его страсть к игре в карты и к волокитству, — оружие, которое швед якобы успешно применял до этого в качестве посланника при саксонском дворе. Если понадобятся деньги, говорилось в инструкции, то Вульфеншерна должен был обратиться за ними к д'Аллиону — тот не откажет. В особую заслугу новому послу будут поставлены также его усилия об отзыве слишком активного русского посла Корфа из Стокгольма, ибо только одними его усилиями упорно держится прорусская партия в Швеции. Вульфеншерна должен был также всячески препятствовать назначению в Стокгольм послом брата канцлера М.П. Бестужева-Рюмина.
