На этом боевой путь генерала закончился. В то время Остерману было всего 43 года, ему же казалось, будто бы прошла целая вечность с того дня, как он впервые явился на службу в Преображенский полк, и после того, как столько лет было им прожито, ему не приходило в голову, что жить ему осталось еще столько же.

Он сознавал, что лучшее из всего того, что осталось ему в этой жизни, было назначение шефом Павловского гренадерского полка. Именно с этим полком его связывали общие воспоминания о событиях войны 1806–1807 годов, ставших его «звездным часом». Нижним чинам, служившим в полку в те времена, он выплачивал из своих средств пенсию. Впрочем, его огромного состояния, которое он тратил на чужие нужды не задумываясь, хватало на всех. Деньги он щедро раздавал солдатам в дни полковых праздников, смотров, учений, лагерных объездов, в благодарность за службу. Известный в высших кругах петербургского общества надменным характером и крутым нравом, Остерман был самым близким человеком для офицеров Павловского полка, которые не стеснялись говорить ему о своих денежных затруднениях. А они были почти у каждого, так как полк был лишь недавно расквартирован в Петербурге, и его офицерский состав был в основном из мелкопоместного дворянства. Офицеры полка избегали дальних прогулок, опасаясь, что ткань их мундиров может выцвести на солнце или потерять вид во время дождя, а средств на пошив новых у них явно не хватало. Остерман всегда готов был помочь им своими деньгами, тех же, кто стеснялся их брать, он представлял к денежным награждениям за службу из казны. Офицеры полка, в свою очередь, платили Остерману привязанностью и благодарностью. Его адъютант полковник Свечин даже сочинял поэму, по-видимому, не имевшую конца, под названием «Александроида», которую «для вящего вдохновения писал… на саженной аспидной доске», посвящая ее своему шефу. Ежедневно утром к нему являлись с докладом дежурный по полку офицер, фельдфебель шефской роты и два ординарца, приводившие с собой всякий раз нового офицера, так как Остерману хотелось быть короче знакомым с офицерским обществом нового поколения. Всю жизнь занимавшийся самообразованием, «отличавшийся живостью ума, общительностью», Остерман с каждым мог найти общую тему для разговора.

В течение нескольких лет адъютантом А. И. Остермана-Толстого был И. И. Лажечников, ставший впоследствии известным русским писателем, чем он в некоторой степени был обязан своему начальнику. Нуждавшийся в деньгах И. И. Лажечников не имел необходимости снимать квартиру, так как жил в особняке Остермана, где приводил в порядок библиотеку генерала, составляя каталог на бывшие в ней книги. «Библиотека… заключала все произведения о военном деле, какие только мог найти ее владелец, почитавший создание военной библиотеки одним из главных дел своей жизни», — вспоминал впоследствии писатель. Здесь же были редкие книги, манускрипты и рукописи, которые генерал унаследовал от своего родственника сенатора Ф. А. Остермана, где находились и письменные материалы, относившиеся к эпохе Петра I, использованные И. И. Лажечниковым при написании романа «Последний Новик». Остерман-Толстой отдал своему адъютанту годовой билет в театр, где им была абонирована целая ложа. Лажечников вспоминал, как однажды генерал вошел к нему в библиотеку и «спросил… с видимым неудовольствием: „Кого это пускаешь ты в мои кресла?“ Молодой писатель, встревоженный тем, что Остерман мог подумать, что он использовал его имя для укрепления светских связей, с жаром стал объяснять начальнику, что передавал билет литератору и журналисту, весьма ограниченному в денежных средствах. „Если так, — сказал граф, — можешь и впредь отдавать ему мои кресла“». «Этот мужественный человек сочетал в себе рыцарство военного с оттенком рыцарства средневекового, что придавало его облику особую утонченность и благородство», — вспоминал И. И. Лажечников.

С высоты своего положения в обществе, чина и должности Остерман никогда не позволял себе оскорбить достоинство подчиненного. Однажды с докладом к нему явился офицер, начавший рапортовать по-французски. Остерман потребовал от него, чтобы тот изъяснялся по-русски. Повинуясь приказу, офицер заговорил, с трудом подбирая и коверкая слова, из чего сделалось ясно, что русского языка он почти не знал. Едва находя себе место, Остерман дождался конца доклада, и как только офицер смолк, генерал обратился к нему по-французски и просил оказать ему честь быть у него в ближайшую пятницу на музыкальном вечере.

Как генерал-адъютант императора А. И. Остерман-Толстой изредка бывал при дворе, присутствуя на церемониях по торжественным случаям. «Как он, безрукий, красив был в своем генерал-адъютантском мундире, среди царедворцев!» — невольно восклицал современник.

Он появлялся, высокий, худощавый, с гордо поднятой головой, с вечной насмешкой в глазах и на языке и полупрезрительной улыбкой на тонких губах. Дух заискивания и чинопочитания был чужд характеру Александра Ивановича. С теми, кто готов был уронить свое достоинство в угоду влиятельным и сильным людям, он не церемонился. Однажды в его присутствии один из известных сановников витиевато принялся рассуждать о какой-то правительственной мере: «Если бы я имел честь заседать в Государственном совете, я бы позволил себе сказать…» — «Какую-нибудь глупость», — закончил за него фразу Остерман.

В дом к Остерману зачастил генерал П-ский, который часами мог говорить один за всех, никому не давая вставить слова. При этом он самодовольно поглаживал бороду, которая от природы была рыжая, но генерал П-ский, скрывая это, красил ее в черный цвет. Отвадить от дома надоедливого посетителя помог Остерману случай. К нему явился рыжебородый парень наниматься кучером. Остерман-Толстой сказал ему, что не любит рыжих, и посоветовал окрасить бороду в черный цвет, узнав секрет окраски у генерала П-ского. Ничего не подозревая, парень отправился по указанному адресу, передал поклон от графа Александра Ивановича и попросил рецепт окраски бороды. С тех пор генерал П-ский в доме Остермана не появлялся.

Зато в его особняке на Английской набережной продолжали часто собираться его соратники: М. А. Милорадович, В. Г. Костенецкий, А. П. Ермолов. Здесь бывала и военная молодежь, среди которой было немало декабристов: С. Г. Волконский, Д. И. Завалишин, Л. М. и В. М. Голицыны (последние трое — племянники генерала).

14 декабря 1825 года, подавив восстание декабристов, на престол в России вступил император Николай I. Независимый в суждениях, самостоятельный в поступках, твердый в понятиях о благородстве и чести, А. И. Остерман-Толстой вызывал отчуждение как у нового императора, так и у его приближенных.

19 декабря 1825 года А. И. Остерман-Толстой, исполняя обязанности генерал-адъютанта, дежурил во дворце. В конце дня его вызвал в кабинет Николай I и приказал сдать шефство над Павловским гренадерским полком своему сыну, 7-летнему наследнику престола цесаревичу Александру Николаевичу. Царь потребовал, чтобы Остерман-Толстой сам объявил об этом Павловским гренадерам и представил им нового шефа. Глядя на Остермана, самодержец всероссийский пытался обнаружить хотя бы тень смятения на лице генерала, которого он только что разлучил с его любимым полком. А Остерман несколько мгновений смотрел в глаза императора, и взгляд его говорил: «Стоит ли быть помазанником божиим и иметь неограниченную власть, когда употребляешь ее на то, чтобы унизить достоинство подданных?» Вместе с наследником престола Остерман вышел в зал, где была выстроена шефская рота Павловского гренадерского полка. Он твердым голосом объявил, что покидает полк, и представил нового шефа. Пока генерал произносил эти слова, он успел обвести глазами строй солдат, и это было его прощание с ними. Павловские гренадеры напряженно смотрели на «своего графа», и когда он сказал все, что ему было велено новым императором, они долго и надсадно кричали «ура!», чтобы сдержать подступившие слезы. Сохраняя внешнее спокойствие, Остерман вышел из зала. Вернувшись домой, он впервые ощутил себя старым, ненужным и совершенно разбитым от боли в левом плече.