Во второй раз беда стряслась с ним в бою у Гутштадта 24 мая 1807 года. В схватке с французами, происходившей посреди долины, усыпанной яркими весенними цветами. Остерман. бывший, как всегда, в самой гуще боя, был тяжело ранен в правую ногу. К нему устремились неприятельские солдаты, у которых его вновь отбили павловские гренадеры.

После этой раны Александр Иванович вынужден был покинуть армию, как он сам рассчитывал, на короткий срок. Но вскоре война закончилась. Мир, заключенный с Наполеоном в Тильзите, Остерман-Толстой воспринял так же, как его воспринимала почти вся русская армия, по понятиям которой ничего не могло быть позорнее.

А. И. Остерман-Толстой, теперь уже пользующийся «блестящей репутацией военачальника», украшенный орденами св. Анны I степени и св. Георгия III степени, полученного им за бой у Чарнова, возвратился в Петербург, где он не считал нужным скрывать свое личное убеждение, что русские должны побеждать или умирать со славою. Его позиция в этом вопросе была настолько последовательной, что французский посланник А. Коленкур, снабжавший Наполеона сведениями о настроениях в русском обществе, назвал графа Остермана-Толстого «главой военной оппозиции», который, несмотря на указания русского императора, не посещал с визитами французского посланника, соответственно не принимая его у себя дома. Волеизъявления царя было недостаточно, чтобы заставить не умевшего и не хотевшего притворяться Остермана сменить неприязнь на показное дружелюбие. Если в этом случае несговорчивость прямодушного генерала сошла ему с рук безнаказанно, то в другом случае его сочли нужным наказать…

Прочитав в конце марта 1809 года в «Санкт-Петербургских ведомостях» указ о производстве в чин генерала от инфантерии М. Б. Барклая-де-Толли, А. И. Остерман-Толстой неожиданно подал в отставку. Генерал, так дороживший своей службой в армии, вновь оказался не у дел, но Остерман не был бы Остерманом, если бы он поступил иначе. Нет, он не завидовал чужой славе, не являлся строгим блюстителем очередности в получении чинов, как многие его сослуживцы. Он разделил обиду своего друга Д. В. Голицына, с которым сблизился во время кампании 1806–1807 годов. В 1808 году генерал-лейтенант Д. В. Голицын, обаятельный человек, толковый военачальник, с отличием участвовал в войне со шведами. Разведав переход через замерзший пролив Кваркен, он рассчитывал по льду провести русские войска к шведским берегам, но эта операция была поручена Барклаю-де-Толли. Оскорбленный Д. В. Голицын подал в отставку, не скрывая ее причин.

Остерман-Толстой, так же как и Голицын и многие их сослуживцы, не считал, что в войне 1806–1807 годов Барклай-де-Толли отличился выдающейся распорядительностью. После боя под Чарновом дивизия Остермана лишилась всего обоза, захваченного французами по причине скорого отхода арьергарда Барклая от Сохочина. По поводу же боя при Гофе А. П. Ермолов сдержанно заметил, что «он не делает чести генералу Барклаю де Толли». В связи с этим многим было ясно, что причина его «изумительно быстрого возвышения» скрывалась в личном расположении Александра I. Демонстративное прошение Остермана об отставке царь счел фактом более вызывающим, чем пренебрежение французским посланником, собственноручно наложив резолюцию: «Вычеркнуть из списков!» «С тех пор тот и другой верховодят в антифранцузской партии», — писал в Париж посланник Коленкур об Остермане и Голицыне.

Невзирая на это досадное происшествие, А. И. Остерман-Толстой сознавал, что его вынужденное бездействие не могло быть продолжительным. Военная гроза неумолимо надвигалась на Россию. «Кто не жил в ту эпоху, тот знать не может, как душно было жить в это время», — писал П. А. Вяземский. По дорогам Западной Европы двигались к границе России «большие батальоны», которые до сих пор были «всегда правы». В предстоявшей борьбе не на жизнь, а на смерть, мог найти себе место каждый, кому дорого было Отечество.

И вот настал 1812 год, «памятный для каждого русского, славный опасностями, тяжкий трудами».

С началом весны из Петербурга в направлении границы начали выступать по одному гвардейские полки. Когда в поход двинулся Преображенский полк, где в молодости служил и в штатах которого находился до своей отставки А. И. Остерман-Толстой, он выехал в карете к Нарвской заставе, мимо которой проходили гвардейские полки. Здесь отставной генерал увидел издали императора Александра I, который отвечал на приветствия воинов непривычными для их слуха словами: «В добрый путь!» Все были взволнованы, в эту минуту каждый думал о судьбе своего Отечества, над которым уже нависла угроза вторжения несметных полчищ Наполеона. Глядя вслед уходившему полку, Остерман-Толстой ощутил, как никогда, всю остроту своих переживаний, по поводу вынужденной отставки. Его угнетало пребывание в столице, в то время, как большинство его сослуживцев уже находилось в армии, но обращаться к царю с просьбой о возвращении на службу он так и не стал.

В начале апреля Остерман узнал, что Александр I, покинув Петербург, отбыл к армии. Это означало, что близилось военное столкновение. В этих обстоятельствах Остерман недолго размышлял над тем, какое следовало принять решение. Его могли вычеркнуть из списков военных чинов, но кто бы мог запретить ему сражаться за Отечество? Наскоро собравшись, он выехал в сторону западной границы.

В то время, как царь и военный министр находились в Вильно, Остерман-Толстой достиг расположения 1-го пехотного корпуса генерал-лейтенанта П. X. Витгенштейна, находившегося на правом фланге 1-й Западной армии между Россиенами и Кейданами. Явившись в Шавли на квартиру корпусного командира, Александр Иванович отрекомендовался волонтером и выразил готовность служить в любой должности. Очевидно, Витгенштейн с пониманием встретил просьбу самолюбивого Остермана, после чего тот и остался при 1-м пехотном корпусе.

Войска Витгенштейна давно уже пребывали в состоянии боевой готовности. Вторжение неприятеля ожидалось со дня на день. Меры же, принимаемые русским командованием для отражения противника, вызывали скептическое отношение у П. X. Витгенштейна. Он даже рад был неожиданному приезду Остермана, с которым мог поделиться своими сомнениями.

Русские войска находились слишком близко к границе и слишком далеко друг от друга, чтобы в случае вторжения наполеоновских войск успеть беспрепятственно соединиться и не быть отрезанными друг от друга в самом начале войны. В особо опасном положении находился 1-й пехотный корпус П. X. Витгенштейна, занимавший крайнее положение на фланге 1-й Западной армии.

Витгенштейн, Остерман-Толстой и часто наезжавшие в Шавли корпусные командиры Н. А. Тучков и П. А. Шувалов обменивались мнениями, не скрывая друг от друга самых худших опасений, которые вскоре из предположений превратились в реальность.

13 июня офицер, посланный М. Б. Барклаем-де-Толли, привез письменное известие о событиях, происходивших на Немане в ночь с 12 на 13 июня: «Неприятель переправился близ Ковно, и армия сосредоточивается за Вильною; почему предписывается вам начать тотчас отступление по данным вам повелениям», — писал главнокомандующий командиру 1-го пехотного корпуса.

Едва войска Витгенштейна выступили, как он известился о том, что со стороны Ковно наперерез его корпусу двигаются значительные силы французов. 15 июня 1-й пехотный корпус прибыл к Вилькомиру, где почти одновременно с ним появился корпус французского маршала Удино. Войскам Витгенштейна еще предстояло перейти вброд реку Свенту, когда арьергард Кульнева, прикрывавший переправу, был уже атакован многочисленным неприятелем. В течение двух часов трехтысячный русский отряд отражал натиск противника, стремившегося настигнуть корпус Витгенштейна. Во время этого боя среди русских воинов появился высокий генерал в очках, в мундирном сюртуке с орденом св. Георгия III степени. Он подавал советы русским артиллеристам, направлявшим огонь в наступавшие неприятельские колонны, участвовал в отражении атак кавалерии противника, содействовал порядку на переправе через реку. При этом генерал не вмешивался ни в распоряжения командира корпуса, ни начальника арьергарда. «Остерман принимал участие в этом деле как волонтер», — писал в одном из своих писем в Петербург П. X. Витгенштейн.