Вскоре Ростопчин почувствовал, как вокруг него сгущается обыкновенное и мелочное. Вернувшиеся и обнаружившие гибель своего имущества дворяне и купцы (не все, конечно) обвиняют в своем разорении Ростопчина, говорят, что ему не следовало бы жечь Москву, распространяются слухи, что он чем-то поживился при этой разрухе, упрекают его в "ужасной и несправедливой" расправе над "бедным юношей" Верещагиным (в этом его упрекает и Александр I). Ростопчин не оправдывался, зная, что его оправдания не будут услышаны и приняты. Кроме того, он понимал, что его время и необходимость в нем миновали, при дворе уже появились новые люди.

Но при этом Ростопчин не склонен был преуменьшать свою роль в событиях 1812 года. В ответ на выговоры Александра I по поводу верещагинского дела он заявил императору: "Я спас империю. Я не ставлю себе в заслугу энергии, ревности и деятельности, с которыми я отправлял службу Вам, потому что я исполнял только долг верного подданного моему государю и моему Отечеству. Но не скрою от Вас, государь, что несчастие, как будто соединенное с Вашею судьбою, пробудило в моем сердце чувство дружбы, которою оно всегда было преисполнено к Вам. Вот что придало мне сверхъестественные силы преодолевать бесчисленные препятствия, которые тогдашние события порождали ежедневно".

Решающая роль Ростопчина осознавалась и наиболее проницательными современниками. Известный государственный деятель александровского времени Д.П.Рунич, отнюдь Ростопчину не симпатизировавший, в своих воспоминаниях пишет о нем: "Он спас Россию от ига Наполеона". По сути дела, так же оценивал роль Ростопчина Н.М. Карамзин.

Отдает должное личности и деятельности Ростопчина и один из самых достойных его противников-французов - Стендаль. В 1817 году в книге "История живописи в Италии", подводя итог своим размышлениям о России и увиденном им там во время наполеоновского похода, он пишет о Ростопчине:

"Исход жителей из Смоленска, Гжатска и Москвы, которую в течение двух суток покинуло все население, представляет собою самое удивительное моральное явление в нашем столетии; что касается меня, я с уважением обошел загородный дом графа Ростопчина, смотрел на его книги, валявшиеся в беспорядке, на рукописи его дочерей. И видел деяние, достойное Брута и римлян, достойное своим величием гения того человека, против которого оно было направлено. Есть ли что-нибудь общее между графом Ростопчиным и бургомистром Вены, явившимся в Шенбрунн приветствовать императора, к тому еще столь почтительно? Исчезновение жителей Москвы до такой степени не соответствует флегматическому темпераменту, что подобное событие мне кажется невозможным даже во Франции".

В апреле 1814 года русские армии вступили в Париж, Наполеон отрекся от престола, союзники праздновали победу.

В Москве победные праздники начались 23 апреля, в день святого Георгия Победоносца. Служили благодарственные молебны в кремлевских соборах и во всех московских храмах. Балы и маскарады шли один за другим.

Ростопчин в своем доме на Большой Лубянке давал бал в честь генералов и офицеров - участников сражений. Дом, двор и улица были иллюминированы гирляндами разноцветных фонарей, повсюду развешаны аллегорические картины, изображающие победу России над Наполеоном. Во дворе и на улице стояли столы с угощением для народа, хоры песельников пели военные и народные песни. Среди прочих был исполнен специально написанный по мысли и заказу Ростопчина гимн на стихи Н.В.Сушкова, в котором проводилась идея: французы сожгли Москву, а русские на их варварство ответили великодушием и пощадили Париж. Впервые эта тема прозвучала в русской поэзии именно в этом гимне, исполненном на балу Ростопчина на Большой Лубянке, а уже затем ее развивали многие поэты.

Стихи Сушкова последний раз перепечатывались полтора века назад, но в свое время они пользовались большой известностью и достойны того, чтобы их вспомнить.

Ой, вы, детки каменной Москвы! скорей

Собирайтесь ближе, в тесный круг, дружней!

Добру весточку поведаю я вам:

Добрый Царь ее прислал, родимый, к нам,

Чтобы славили удалых мы солдат,

Как взошли они в Париж - далекий град.

Грянем, в голос, в лад ударя по рукам:

Слава Богу, Александру и полкам!

Слава, слава Богу Русскому!

Слава, слава Царю-воину!

Слава, слава верноподданным!

О, ура! ура! ребятушки!

Исполать вам! вы со всех-то мест

Близких, дальних ополчилися,

О! хвала и вам, отважные

Воеводы и начальники!

Други! слушайте, как Царь в Париж входил:

Он святые храмы Божьи не сквернил,

Он с Угодников оклады не срывал,

Он палаты каменны не выжигал,

И в покое он оставил весь народ.

И никто-то наших Русских не клянет.

Грянем! в голос, в лад ударя по рукам:

Слава батюшке-Царю! хвала полкам!

Слава, слава милосердому!

Слава, слава Царю-ангелу!

Слава, слава верноподданным

Православным храбрым воинам!

О, хвала и вам, бесстрашные

Полководцы и наездники!

Мир и память вам, погибшие

За отчизну, за любезную!

И в Париже, как в Москве теперь у нас,

Веселятся да пируют в добрый час!

Жены, девы, стары, малы, весь народ

Мимо Русских, не боясь, себе идет,

Принимает, как друзей, в домах своих,

Угощает, а не прячется от них.

Грянем, грянем дружно, в громки голоса:

Слава! слава! укротились небеса!

Слава, слава Богу Господу!

Слава, слава Царю-ангелу!

Слава, слава верноподданным,

Православным, храбрым ратникам!

О, хвала и вам, разумные

Воеводы и начальники!

О, ура, ура! Святая Русь!

О, ура! Москва родимая!

В августе 1814 года Александр I уволил Ростопчина с должности московского главнокомандующего, мотивируя свое решение множеством жалоб на него. Император пожаловал его званиями члена Государственного совета и "состоящего при особе государя", но это означало причисление его к сонму московского "неслужащего боярства" и списание в "почетные старцы".

Нервное напряжение многих лет получило выход после отставки; Ростопчин заболел серьезным нервным расстройством, его мучили бессонница, обмороки, приступы ипохондрии. Он уехал на лечение за границу. В Англии, Германии, Франции его чествовали как героя борьбы против Наполеона и поджигателя Москвы. В 1823 году Ростопчин вернулся в Москву, поселился в своем доме на Большой Лубянке и в нем скончался в 1826 году.