Вблизи того места, где, подавая пример мужества, стоял перед рядами своих воинов Остерман, ударилось в землю ядро. Взрывной волной генерала сбросило с лошади, засыпав землей. Когда он очнулся, его несли на перевязочный пункт в Князьково. Здесь Остерман-Толстой, оглядевшись, увидел раненого А. П. Ермолова с перевязанной шеей, командиров обеих дивизий, входивших в его корпус, генерала А. Н. Бахметева, которому только что ядром оторвало ногу, и его брата генерала H. H. Бахметева, также получившего ранение, после чего Остерман, несмотря на последствия сильной контузии, решил возвратиться к своим войскам. Он прибыл к ним в то самое время, когда была взята батарея Раевского и полки неприятельской кавалерии обратились на многострадальную пехоту его корпуса, встретившую их штыками. Остатки его войск прикрыла подоспевшая русская конница и Милорадович, явившийся из резерва с артиллерийскими орудиями, открывшими беглый огонь. Представляя А. И. Остермана-Толстого к награждению, М. И. Кутузов писал: «…Остановил… стремление против его корпуса неприятеля и примером своим ободрял подчиненные ему войска, так что ни жестокий перекрестный огонь неприятельской артиллерии, ни нападения неприятельской конницы не могли их поколебать…»

До наступления темноты, прекратившей сражение, корпус А. И. Остермана-Толстого, лишившийся более трети своего состава, стоял на своем месте так, как будто бы врос в эту землю, покрытую телами лучших сынов России, которых она лишилась в этот день.

«Баталия, 26-го числа бывшая самая кровопролитнейшая из всех тех, которые в новейшие времена известны. Место баталии нами удержано совершенно, и неприятель ретировался тогда в ту позицию, в которую пришел нас атаковать. Но чрезвычайная потеря и с нашей стороны сделанная, особливо тем, что переранены самые нужные генералы, принудила меня отступить по Московской дороге», — говорилось в одном из донесений М. И. Кутузова. Но и в то время, когда писались эти строки, никто в армии не подозревал, что это движение к Можайску и далее было прологом к оставлению Москвы.

1 сентября 1812 года в деревне Фили, находившейся всего в четырех километрах от Москвы, они собрались под соломенной крышей избы крестьянина Фролова. Когда Остерман вошел в горницу, первое, что он с болью заметил, было то, как мало их уцелело после Бородинской битвы. Из генералов 2-й Западной армии до сих пор никто не явился. Остерман присел к столу и, не вступая ни с кем в беседу, стал прислушиваться, о чем говорили вполголоса другие. Впрочем, ему можно было не прислушиваться. Он хорошо знал всех присутствующих и заранее мог угадать, кто как поведет себя на военном совете. М. И. Кутузов сидел в стороне молча. Было очевидно, что он уже принял решение, иначе бы он не созывал их сюда. Д. С. Дохтуров, не скрывая своих мыслей, говорил сидящему рядом П. П. Коновницыну: «При одной мысли об этом волосы становятся дыбом»; а Коновницын отвечал ему со всей своею искренностью: «Дмитрий Сергеевич, да об этом не может быть и речи». Бывший здесь же Ф. П. Уваров рассчитывал, что все решится без него, потому что и в прежние времена, стараясь убедить кого-либо в чем-либо, он начинал излагать свои доводы словами: «Это говорю вам не я, а люди, которые гораздо умнее меня». К. Ф. Толь разворачивал на столе карту, взглядывая на М. И. Кутузова. Самоуверенный и дерзкий с другими, по отношению к Кутузову он чувствовал, как и прежде, себя учеником шляхетского корпуса, где Кутузов был когда-то директором. Ермолов отлично сознавал, что все равно будет так, как уже решил главнокомандующий, и готовился подать свое мнение, исходя из интересов сохранения своей собственной воинской репутации, он по-прежнему делал вид, что считает себя «молодым человеком», не знающим, на что решиться. Главнокомандующий 1-й армии М. Б. Барклай-де-Толли, одиноко сидя под образами в углу горницы, страдал от всего разом: от нервной лихорадки, от того, что его прежде обзывали изменником, отстранили от поста военного министра, и от того, что в Бородинском сражении он так и не нашел смерти. Из личных благ он уже не дорожил ничем и собирался высказываться решительно.

Остерман разделил столько бед и опасностей с этими людьми, так привык к ним, что ему казалось естественным, что они собрались вместе, когда у них было так тяжело на душе. И лишь одного человека он не принимал сердцем, презирал и ненавидел — начальника Главного штаба барона Беннигсена, человека без отечества. Чего стоили все его военные дарования, если в его жизни не было главного, того, чем были наполнены жизни Остермана и его соратников, — преданности своей Родине. Остерман не особенно вслушивался в то, что говорил Беннигсен, его раздражал самодовольный вид генерала, который рассуждал о гибели русской армии и потере Москвы как о чем-то постороннем. «Есть ли у вас уверенность в том, что сражение будет нами выиграно?» — спросил он, зная, что утвердительного ответа на этот вопрос быть не может, но далее слышать витийство Беннигсена для него было невыносимо. Когда же спор генералов ушел в сторону от вопроса, оборонять ли им Москву или сохранить армию, и они заговорили о том, где лучше положить войско на позиции, избранной Беннигсеном или самим напав на неприятеля. Остерман задумался. Ему отчего-то вспомнился рассказ Кутузова о том, как перед штурмом Измаила Суворов собрал на военный совет генералов, положил перед ними на стол чистый лист бумаги и сказал: «Пусть каждый из вас, не спросясь никого, кроме бога и совести, подаст свое мнение». Больше всего на свете боялся Остерман, что его назовут трусом, отдавшим французам Москву. По словам А. П. Ермолова, он «несколько раз сходил с ума от этой мысли», но на военном совете Остерман-Толстой сказал то, что велела ему его совесть: «Москва не составляет России; наша цель не в защищении столицы, но всего Отечества, а для спасения его главный предмет есть сохранение армии». Совещание подходило к концу, когда приехал Н. Н. Раевский. Остермана интересовало, что скажет этот мужественный генерал. Раевский думал недолго: «Россия не в Москве, среди сынов она», — процитировал он стихи поэта Озерова. Кутузов, поднявшись со стула, произнес твердо: «Приказываю отступать».

Полководец с умыслом оставил Москву. Он знал, что древняя столица «всосет французскую армию как губка». Наполеон, приняв вступление в Москву за цель своего похода, упустил из виду главное — русскую армию, которая вышла из Москвы по Рязанской дороге, а затем, неожиданно свернув на Калужскую, расположилась 21 сентября лагерем у села Тарутина, угрожая с фланга войскам Наполеона и прикрывая от них южные плодородные губернии. Во время отступления русской армии корпус А. И. Остермана-Толстого находился в арьергарде.

Во время остановки армии в Красной Пахре Остерман решил по обыкновению проверить, хорошо ли накормлены его солдаты, не испытывают ли они в чем нужды и не пали ли духом от оставления Москвы. Подходя к расположению Елецкого пехотного полка, он услышал знакомый голос и остановился от неожиданности. Потом, желая проверить, не изменил ли ему слух, не обознался ли он, Остерман подошел ближе и увидел главнокомандующего 1-й армией М. Б. Барклая-де-Толли без свиты, в мундире без знаков отличия и орденов. Он видел перед собой глубоко страдавшего человека и понимал причину его страданий.

Переходя от полка к полку, объясняя войскам причины их отступления, Барклай-де-Толли как будто стучался в сердца сослуживцев, доступные ему в прежние времена. Вскоре он оставил армию. Офицер, приехавший от него из Калуги, неожиданно привез Остерману письмо, в котором бывший главнокомандующий писал своему старому боевому соратнику о том, с какой болью в сердце покинул он русскую армию.

6 октября русские войска, одержав победу при Тарутине, дали понять Наполеону, что их сила и мощь восстановлена, после чего французский император предпочел более не задерживаться в Москве и кинулся на Калужскую дорогу, стремясь обеспечить свои войска продовольствием в южных губерниях, не тронутых войной. Но, «несмотря на все его тонкости, — говорится в журнале военных действий, — намерение его предупреждено». Следствием сражения за Малый Ярославец, бывшего 12 октября, явился отход неприятельской армии на Смоленскую дорогу, разоренную войной.