Но, в духе характера и привычек императора Павла, фавор Аракчеева кончился, и в октябре этого же года Аракчеев был вторично отстранён от службы, на этот раз до прихода к власти Александра I.
Молодой император был хорошо знаком с Аракчеевым по военной службе еще в бытность свою наследником. В мае 1803 года он восстановил Аракчеева на службе в прежних должностях командира лейб-гвардии артиллерийского батальона и инспектора всей артиллерии. Его дальнейшая служба была настолько тесно связана с военными обязанностями императора (ведь Александру по-настоящему опереться можно было прежде всего на исполнительного и знающего Аракчеева), что император не мог уже обходиться без верного друга, которому молва за императорский фавор быстро присвоила звание «временщика».
В 1805 году Аракчеев постоянно находился при императоре Александре I, в том числе и в Аустерлицком сражении, а в дальнейшем был его военным советником и уполномоченным в войне со Швецией.
В 1807 году Александр присвоил ему чин генерала от артиллерии (II класс Табели о рангах), введённый Павлом I. Это позволило Александру I назначить Аракчеева военным министром (1808), а как человека неподкупного и честного — генерал-инспектором всей пехоты и артиллерии с подчинением ему комиссариатского и провиантского департаментов.
В войне со Швецией Аракчеев провёл блистательную дипломатическую операцию. Несмотря на то, что генерал Кнорринг в условиях свержения престарелого шведского короля Густава-Адольфа и прихода на трон нового короля договорился со шведами о перемирии, Аракчеев сумел, как уполномоченный русского императора, отменить прежнюю договорённость и заключить Фридрихсгамский мир, по которому России отошли Финляндия и Аландские острова.
Много положительного внёс граф Аракчеев в организацию военного управления: были изданы новые правила, положения и инструкции касательно работы военной администрации, в том числе была упрощена и сокращена в ней канцелярская работа Много было сделано в деле повышения боеспособности армии и гвардии, особенно в артиллерийских частях. Военный министр Аракчеев учредил новые запасные рекрутские депо для новобранцев и при них организовал учебные батальоны; он ставил своей задачей повышение уровня специальной военной и общеобразовательной подготовки офицеров, следил за материальным снабжением всех подчинённых ему подразделений.
В 1810 году Аракчеев был переведён с должности военного министра на должность Председателя Департамента военных дел Государственного совета Это была более высокая должность. Она давала право присутствовать в Сенате и Комитете министров.
Весной 1812 года, в связи с нашествием Наполеона, Аракчеев изменил свою деятельность. Государь доверил ему весьма ответственную часть: создание продовольственных резервов и снабжение действующей армии продовольствием С этой задачей он справился превосходно, и Александр I проникся к своему фавориту ещё большим уважением и доверием, хотя окружение не только не любило, но даже ненавидело Аракчеева, презрительно называя его «временщиком».
Аракчеев не вызывал у окружавших его людей симпатии. Он был требователен до жестокости, не проявлял к людям ни человеколюбия, ни милосердия.
Единственный человек, которого он обожал., вернее даже боготворил, был император Александр I. Алексей Андреевич Аракчеев был необычный фаворит, которому было доверено самое важное направление государственной деятельности — военная служба, защита безопасности страны. И это поручение он исполнял неукоснительно, со всем рвением, на пользу стране. И его заботы об армии, об обучении солдат и офицеров сказались на Бородинском поле и на победах русских войск в Заграничном походе 1813–1814 годов.
Александр I, подружившись с Аракчеевым еще в пору, когда был наследником престола, до самого конца своего императорского правления находился под влиянием могущественного временщика у трона. Александр Павлович и как частное лицо постоянно общался с Аракчеевым и много раз навещал своего любимца в его имении Грузино. Императору импонировало, что на фоне почти повального взяточничества и казнокрадства человек, наделённый большими полномочиями и возможностями, никогда не думал о своих выгодах, был кристально чист. Аракчеев не брал взяток, не занимался казнокрадством, не имел целью наживу, не был тщеславен, не благоволил своим родственникам Когда Александр I предложил почтить его мать статс-дамой Высочайшего двора, Аракчеев решительно отказался, объяснив это тем, что она, деревенская старушка, не имеющая представления об этикете при Высочайшем дворе, своим нелепым поведением будет вызывать у придворных дам только насмешки. Хотя его мать, если бы узнала об этой милости императора и отказе от неё, очень бы рассердилась на сына.
Александр I награждал Аракчеева действительно за заслуги: в 1807 году — орденом Св. Владимира, в 1808-м — орденом Св. апостола Андрея Первозванного, но Аракчеев отказался принять эти ордена, считая, что он уже достаточно пожалован еще императором Павлом орденами Св. Анны I степени и Св. Александра Невского, и это для него и так великая честь.
Аракчеев не был корыстолюбив, он никогда ни от кого не брал никаких подношений и отказывался даже от подарков императора, объясняя это тем, что он доволен самим благоволением к нему Его Величества. И это не была поза: он действительно боготворил императора, и главным для него были не ордена и подарки, а доверие Александра I.
Алексею Андреевичу, в отличие от другого императорского фаворита, Михаила Михайловича Сперанского, повезло: он не был ни уволен, ни тем более сослан, а до самой кончины Александра I находился в его фаворе. Не повлиял на фавор Аракчеева и уход Александра I от либеральных реформ. Но отношение общества к Аракчееву, как носителю зла, становилось год от года всё суровей. И хотя Аракчеев выполнял и такие указания Александра I, которые поддерживало прогрессивное русское общество, однако этих либеральных прогрессивных шагов «временщика» никто не замечал. Так, например, когда президентом Русского Библейского общества, тесно связанного с Британским Библейским обществом, был поставлен обер-прокурор Святейшего Синода князь Александр Николаевич Голицын, личный друг императора ещё с юношеских времён, теперь мистик, да ещё полностью погружённый в религию, проповедник мракобесия, Аракчеев всячески содействовал закрытию этого общества. И хотя он знал, что Александр Павлович, его любимый благодетель, покровительствует Библейскому обществу, а вернее своему другу Голицыну, пожертвовал ему 25 тысяч рублей единовременно и делал ежегодный взнос в Библейское общество в размере 10 тысяч рублей, а кроме того, подарил этому обществу дом в Петербурге, Аракчеев, который всегда держал линию императора, на этот раз возненавидел этого лукавого «святошу» и старался всеми силами чинить ему препятствия. И когда по настоянию Голицына Министерство народного просвещения было преобразовано в Министерство духовных дел и народного просвещения, а министром, разумеется, был назначен А. Н. Голицын, Аракчеев не был в числе тех, кто приветствовал это преобразование. Он понимал, что Библейское общество, по сути филиал Британского, занимаясь изданием, распространением и пропагандой Священного Писания, ущемляло права Русской Православной Церкви, а потому, естественно, должно было вызвать неудовольствие иерархов Церкви. И действительно, архимандрит Фотий, слово которого в обществе было весьма значительным, потому что он был любимцем многих влиятельных придворных дам, выступил против Библейского общества. Аракчеев тотчас весьма активно поддержал архимандрита. В результате Министерство духовных дел и народного просвещения было снова преобразовано в Министерство народного просвещения, а Голицын был уволен с постов министра и обер-прокурора Святейшего Синода. Участия в этом деле временщика Аракчеева русское общество как бы не заметило: в его глазах он был реакционером и носителем зла.
Но особенно общество возненавидело Аракчеева за учреждение и насаждение военных поселений в 1816–1817 годах, потому что все предполагали, что это его инициатива и его жестокое издевательство над людьми. А на самом деле это была идея Александра I Благословенного, почерпнутая из далёкого прошлого, из организации в XVI веке стрелецкого войска и ещё раньше — казачьих иррегулярных войск. Уже тогда перед царской властью стояли проблемы финансирования войска и мест его содержания. Тогда вопрос решался просто: и казакам, и стрельцам выдавалась на льготных условиях земля, на которой они строили дома для проживания, которую они возделывали, которой кормились, на которой создавали кустарные мастерские, получая с них ещё и денежный доход. Но этот метод, если вспомнить стрелецкие бунты и казачьи восстания Степана Разина и Емельяна Пугачёва, оказался чреватым большими бедами. В XIX веке решение этих же проблем плюс проблем комплектования регулярной армии и подготовки новобранцев к службе выразилось в идее создания военных поселении — идее, в которой также всё решалось на основе выделения на льготных условиях земли, но не индивидуально каждому, как прежде, а в общее пользование целому солдатскому поселению, чтобы они, как в прежние времена казаки и стрельцы, несли военную службу и, занимаясь сельским хозяйством, кормили и себя, и свою семью. Однако в этом случае принципы организации военных поселений были существенно другими. В прежние времена выделенная стрельцу или казаку земля принадлежала ему в индивидуальное пользование, и он распоряжался всем свободно, кроме только военного служения; теперь же солдат с семьёй, «хозяин» (а по сути никакой не хозяин ни дома, ни земли), не имел никакой свободы: он, его семья и подселенцы (два холостых солдата регулярной армии, чужие ему люди) — все находились на казарменном положении, в строго регламентированном времени. «Хозяин» ежедневно вынужден был исполнять приказ командира, то есть чужую волю, и заниматься не только сельским хозяйством, чтобы кормить свою семью и подселенных ему солдат регулярной армии, но и выполнять тяжёлые работы на строительных и дорожных работах. По команде командира все поселяне должны были одновременно вставать, разжигать огонь, топить печь, готовить еду, есть и в определённое время выходить на работу, а затем возвращаться в свою избу. Вид работы определялся тоже не «хозяином», а командиром. Такое положение было хуже, чем крепостная зависимость. Естественно, государственные крестьяне и казаки оказывали сопротивление введению военных поселений; во многих губерниях, где это происходило, крестьяне поднимали бунты, а то и целые восстания. И эти бунты и восстания жестоко подавлялись, а восставшие подвергались или массовой экзекуции (проведение сквозь строй шпицрутенов), или расстрелу поодиночке с применением ружей, или расстрелу при помощи артиллерии, бьющей картечью прямо по толпе.
