Шувалов вёл обширную переписку с известными европейскими деятелями науки и искусства и приглашал в Россию художников и скульпторов из Франции. Польский князь Адам Чарторыйский в своих записках, рассказывая о приёме его и его брата при Всероссийском Высочайшем дворе, дал Шувалову такую характеристику: «Сначала нас представили графу Шувалову, обер-камергеру, бывшему любимцем Елизаветы, человеку всесильному, известному своей перепиской с учёными, добивавшимися его покровительства: д’Аламбером, Дидро и Вольтером Говорят, что, по желанию императрицы Елизаветы, он побудил Вольтера написать его знаменитую „Историю Петра Великого“. Он выстроил нас в одну шеренгу в ожидании выхода императрицы».
Если это касалось литературы, Шувалов всегда готов был оказывать своим знакомым личные услуги. Екатерина Романовна Дашкова в своих мемуарах со свойственной ей некоторой недоброжелательностью (если не сказать — ядовитостью) вспоминает: «Шувалов, любовник Елизаветы, желавший прослыть меценатом своего времени, узнав, что я страстно люблю читать книги, предложил мне пользоваться всеми литературными новинками, которые постоянно высылались ему из Франции. Это одолжение было источником бесконечной радости для меня, особенно когда я на следующий год после моего замужества поселилась в Москве…»
Иван Иванович Шувалов, от всей души служивший развитию в России искусства, образования и просвещения, был неординарным фаворитом: он трудился «бескорыстно, мягко и со всеми ровно и добродушно», поэтому у него почти не было врагов. Даже MB. Ломоносов, обычно воевавший, «невзирая на лица», со своими коллегами, к Шувалову относился с большим почтением и не раз искал у него защиты.
Фаворит Шувалов служил не столько императрице, сколько Отечеству, и служил настолько бескорыстно, что отказался от предложенных ему императрицей графского титула, поместий и даже от памятной медали в честь первого университетского выпуска. Это был воистину необыкновенный фаворит, пожалуй, единственный в мире фаворит, не стремившийся к личному обогащению, а, напротив, тративший свои личные средства на пользу делу.
После тяжёлой и продолжительной болезни императрица Елизавета Петровна скончалась в С.-Петербурге 25 декабря 1761 года. На престол вступил её племянник, сын её родной сестры Анны — Пётр III Феодорович. Но ему пришлось стоять у власти всего лишь неполных семь месяцев — с декабря 1761 по июнь 1762 года.
Когда на престол вступила Екатерина II, фаворит (или супруг?) Елизаветы Петровны — Алексей Григорьевич Разумовский, — к этому времени богатейший человек, владелец многих поместий и Аничкова дворца в С.-Петербурге, — совершенно отказался от двора и стал вести жизнь уединённую.
Второй фаворит — Иван Иванович Шувалов — по вступлении Екатерины II на престол оказался в неприятном положении. Он не совершил никаких неприглядных поступков: сопровождение им Петра III в заграничную армию было вынужденным, это знали все, восхождение Екатерины на трон он принял без какого-либо сопротивления или явного неудовольствия, он признал новое правительство, но… «его не любила Екатерина, не любили его люди, к ней близкие: он имел слишком большое значение при Елизавете, большое влияние на судьбу всех, начиная с Екатерины, был слишком крупен, нравственно силен, беспрестанно попадался на глаза и потому сильно мешал. Он имел известность за границею, переписывался с людьми, мнением которых очень дорожили тогда в Европе»… «Ив. Ив. Шувалов должен был испытать следствия падшего величия» (С. М. Соловьев).
Начались нападки на Шувалова Так, уже 17 декабря 1762 года, всего через 6 месяцев после вступления Екатерины II на престол и 3 месяца после её коронования, было назначено в Сенате слушание о финансовых затратах в Московском университете, произведённых И. И. Шуваловым. По итогам расследования выступал второй куратор университета Ададуров. Он оповестил Сенат и присутствующую на заседании императрицу Екатерину II, что Шувалов совершал такие выплаты и выдачи из университетских сумм, которые не были предусмотрены императорскими указами; кроме того, отданные взаймы деньги до сих пор не возвращены, хотя сроки уже прошли.
Выслушав донесение Ададурова, императрица строго приказала взять письменный ответ от Шувалова.
Шувалов такой отчёт представил. Содержание этого отчёта-ответа на обвинение Ададурова мы найдём у CJVL Соловьёва:
«Через месяц читали этот ответ: в нем все затраты были перечислены и оказались необходимыми. Шувалов представлял, до какого совершенства приведен им университет, как достаточно снабжен всем нужным; имеет библиотеку, состоящую почти из 5000 томов, не считая те книги, которые употребляются ежегодно для раздачи в классы ученикам, и кроме тех, которые ежегодно раздаются прилежным ученикам в награждение: таких книг считается почти на 12 000 рублей; университет имеет богатый минеральный кабинет, доставленный им, Шуваловым, и стоящий не менее 20 000 рублей, лабораторию, довольное число нужных и лучших математических инструментов; типография, стоящая не меньше 25 000 рублей, находится в изрядном состоянии.
Но наибольшая польза та, что с основания университета вышло из него 1800 учеников, из которых только 300 разночинцев, остальные все дворяне, и большая часть выпущена с хорошими аттестатами, из них девять человек служат в Кадетском корпусе достойными учителями, преподают математику, латинский, французский и немецкий языки; также находящиеся в чужих краях студенты своими знаниями и прилежанием обещают быть полезными своему отечеству; притом еще и недавно заведенная гимназия в Казани начинает приносить довольные плоды. Наконец, относительно состоятельности университета Шувалов указывал, что университет получает дохода 35 000 рублей, а расход в 1761 году простирался до 31 675 рублей. В заключение Шувалов жаловался, что Ададуров представлением своим нанес ему обиды и огорчения, стараясь об одном, чтобы ему повредить».
В такой обстановке жить и работать не представлялось возможным Для Шувалова был один выход: не попадаться больше на глаза императрице и удалиться за границу.
И. И. Шувалов перестал появляться при дворе и вскоре отправился за границу, где провёл около 15 лет.
Екатерина не хотела дать Шувалову полной отставки, он остался на службе, куратором университета. Ему был дан просто долговременный отпуск. Чтобы понять, что это означало в те времена, достаточно сказать, что князь Никита Юрьевич Трубецкой был уволен в полную отставку с полным жалованьем вместо пенсии и с выдачею единовременно 50 000 рублей. Шувалов, будучи в отпуске, естественно, не получил ничего.
Но и за границей Шувалов продолжал служить России: по его заказу были скопированы и отосланы в Академию художеств известнейшие античные статуи из Рима, Флоренции и Неаполя. Стараниями Шувалова российское общество познакомилось с «Историей Российской империи при Петре I», составленной Вольтером Русские художники и учёные, находившиеся за границей, получали от Шувалова помощь, в том числе и материальную. Так как Шувалов своей деятельностью в России был известен за границей, то в аристократических салонах Франции его принимали с большими почестями.
Видя, что Шувалов за границей ведёт себя как подданный Её Величества императрицы Всероссийской, и зная о больших связях Шувалова, Екатерина II обратилась к нему с просьбой ходатайствовать перед папой римским о замене в Варшаве папского нунция Дурини неким, лично известным Шувалову, папским нунцием Грампи. Шувалов весьма успешно выполнил это поручение императрицы, что вполне открыло ему дорогу к возвращению на родину в 1777 году.
В Петербурге Шувалов был встречен весьма радушно: императрица наградила его званием обер-камергера Высочайшего двора, стала приглашать его к себе для бесед; в газетах были напечатаны приветственные стихотворения в его честь, среди которых особенно достойно внимания было «послание» Державина Вокруг Шувалова образовался кружок известных в Петербурге деятелей, в который входили: княгиня Дашкова, с которой он сотрудничал по изданию «Собеседника любителей российского слова»; Державин, стихами которого он восхищался и которому помогал стать известным сначала широкому кругу читателей, а затем и почитателей его таланта; Завадовский, один из бывших фаворитов Екатерины И; Храповицкий, статс-секретарь Кабинета Её Величества; литератор Шишков, придворный вельможа Козодавлев; Оленин, Дмитриев, Янкевич и другие.
