Воронцов, обманув доверие друга, направляет копию этого письма своему брату Александру Романовичу в надежде, что тот найдет способ довести его до сведения императора. "Весьма вероятно, - пишет Брикнер, - что оно дошло-таки до сведения Александра - накануне падения Панина".
30 сентября 1801 года Панин подает прошение об отставке и получает трехгодичный отпуск по болезни. В обществе строятся всевозможные догадки о внезапном удалении этого незаурядного человека, так близко стоявшего к трону. Говорили о расхождениях во внешней политике, о недовольстве его самостоятельностью в делах, об интригах Воронцова и о многом другом.
Сам Панин объясняет перемену отношения Александра приездом Лагарпа, кознями недоброжелателей и конечно же письмом к Воронцову, которое стало известно государю. Он надеется, что вскоре его вновь призовут на службу. Никто не мог и подумать тогда, что настоящая опала начнется в 1804 году и продлится целых 33 года, до самой кончины Панина.
О настоящей причине опалы знали немногие. В письме к Воронцову от 6 октября Кочубей приоткрывает завесу этой тайны: "Государь, насколько я заметил, имеет что-то против Панина из-за революции, которая возвела его на престол. Правда, Панин, как вам известно, первым говорил с ним о регентстве. Но теперь у государя явные угрызения совести и он считает преступлением то, что он, государь, думал о регентстве. Между тем ни один разумный человек не мог бы дать ему лучшего совета".
Адам Чарторыйский, поспешивший в Россию, так описывает свою первую встречу с Александром: "Он позвал меня в свой кабинет и сказал мне: "Если бы вы были здесь, то всего этого не случилось бы; если бы я имел вас около себя, то я не позволил бы увлечь себя таким образом". Затем он рассказал о смерти отца, выразил крайнюю степень огорчения и самые невыразимые угрызения совести... Это согласие было вырвано у него с величайшим трудом и после самых торжественных обещаний, что императору Павлу не будет причинено никакого зла... Император Александр рассказал мне, что первый, говоривший с ним об этом, был Панин и что Александр никогда не мог простить ему этого. Панин не отрицал этого, но доказывал, что этим он оказал услугу своему отечеству и имел право гордиться этим".
Александр пытается убедить себя и близких, что главным виновником катастрофы был Панин. Уже в конце мая по этому поводу между ними произошел какой-то неприятный разговор. Сохранилось письмо Панина к императору, в котором он, в частности, писал: "...То, что Ваше Величество сказали мне вчера вечером относительно события, которое возвело вас на престол, повергло меня в величайшую скорбь. Если Ваше Величество считает меня причиной акта, который, как вы полагаете, пятнает вашу славу, то мое присутствие должно быть для вас невыносимо; я готов избавить вас от него и покинуть все (кроме жены и детей), чтобы в добровольном изгнании оплакивать утрату доверия со стороны государя, за которого я охотно отдал бы жизнь. Одного слова, одного движения Вашего Величества было бы достаточно для этого, но я взял бы с собой в могилу убеждение, что я послужил моему отечеству, решившись прежде всех других развернуть перед вами потрясающую картину опасностей, грозящих погубить нашу страну..."
Поверив в виновность Панина, Александр тяготится его присутствием и ставит вопрос о его отставке перед негласным комитетом. Чарторыйский сообщает:
"...Шла речь об увольнении графа Панина. Государь сильно желал избавиться от него; Панин был ему в тягость, был ему ненавистен и возбуждал его подозрения. Государь не знал хорошенько, как удалить его. Дело рассматривалось серьезно и обстоятельно. Наконец, было решено заменить Панина графом Кочубеем. Все согласились, что пока Панин может оставаться в Петербурге. До последнего момента государь и виду не подал Панину и не мог поступить иначе, так желал избежать неприятных сцен. Панин покорился своей судьбе и отступил. Все время, пока он еще был в Петербурге, он был окружен шпионами, которые непрестанно следили за ним. Государь по несколько раз в день получал от тайной полиции сведения о том, что Панин целый день делал, где он был, с кем говорил на улице, сколько часов провел в том или другом доме, кто посещает его и, если возможно, о чем говорили с ним. Эти сообщения, читавшиеся в тайном комитете, были составлены тем таинственным стилем, который так любит тайная полиция, чтобы придать важность себе и интерес к совершенно ничтожным вещам. В сущности, эти сообщения были совершенно бессодержательны; но государь был в сильном беспокойстве, его мучило присутствие Панина, он постоянно предполагал, что Панин составляет изменнические планы, и не знал покоя, ни душевного мира, пока Панин не уехал. Так как граф видел, что за ним постоянно наблюдают сыщики, и заметил, что вид его невыносим для государя, то он решился покинуть Петербург".
Узнав о перемене в отношении к Панину, Мария Федоровна обрушивается на сына. "Она говорила Александру, что так нельзя царствовать, что нельзя проявлять такого непостоянства, что таким образом ему не удастся никого привлечь к своей личности, - пишет М. И. Муханов. - Она подчеркивала, что Панин заслуживает больше доверия, чем кто бы то ни было, она говорит о необыкновенных способностях Панина, о его преданности и особенно подчеркивала, что ему нельзя сделать никакого упрека за то, как он держал себя в деле убийства Павла. Это последнее обстоятельство имело особое значение в глазах вдовствующей императрицы, и она несколько раз возвращалась к нему. Александр не ответил ни слова, но пошел в свой кабинет и написал там записку, в которой сообщил своей матери об участии Панина в заговоре. Начиная с этого момента Панин бесповоротно погиб во мнении вдовствующей императрицы; она обвинила его в вероломстве и лжи, ненависть ее была тем сильнее, чем больше она обманулась в графе".
О своем участии в плане регентства и о тайных свиданиях с Паниным Александр, естественно, промолчал.
Летом 1802 года Панин уезжает за границу. Более двух лет путешествует он по Европе и незадолго до окончания отпуска просит высочайшего разрешения опоздать на несколько недель. Но в ответ ему сообщили, что "он может продолжать свой отпуск сколько ему угодно и может жить, где ему вздумается... Государь оставляет за собой право, когда это потребуется, воспользоваться его услугами".
