Служба на Кавказе позволила Д. А. Милютину проанализировать проблемы многолетней войны. Он пришел к выводу, что настоящая борьба на Кавказе и есть ни что иное, как продолжение борьбы христианства с исламизмом, варварства с просвещением и то, что «политика экономического приобщения страны важнее политики силы, ибо если война делается народною, никакие условия материальные, никакие армии и победы не могут одолеть великой силы нравственной и материальной целого народа».

По предложению А. И. Барятинского Д. А. Милютин в 1860 г. был назначен товарищем военного министра, а после назначения Н. О. Сухозанета наместником в Царство Польское, он был утвержден военным министром. Двадцатилетняя его служба на этом посту была тесно связана с проведением глубокой военной реформы. Необходимость ее была обусловлена поражением русских в Крымской войне и реформированием армий Западной Европы.

Реформы российской армии начались с сокращения срока военной службы в строю с 25 до 15 лет (из них шесть — на действительной и девять лет в запасе), отменой телесных наказаний в армии, улучшением быта солдат и обучением их грамоте. Для тех, кто имел образование, продолжительность службы сокращалась: для окончивших высшие учебные заведения — до шести месяцев, гимназию — до полутора лет, городское училище — до трех лет и начальную школу — до четырех лет. Замена рекрутского набора всесословной воинской повинностью стала стержнем этого раздела военной реформы. В запас стали уходить молодые и обученные люди, что привело к сокращению кадров, стоящих «под ружьем» в мирное время при наличии достаточно обученного резерва. Последовавшая война на Балканах, когда в короткий срок была отмобилизована действующая армия, подтвердила разумность и своевременность этой меры. В 1881 г. общая численность армии достигала свыше 32 тыс. офицеров, около 900 тыс. солдат и 800 тыс. запасных, а к 1900 г. вооруженные силы насчитывали более 1 млн. человек, а численность подготовленного резерва приближалась к 3 миллионам.

Введение в 1864 г. военно–окружной системы положило начало реорганизации системы центрального военного управления с распространением его прямого влияния на войска, дислоцированные на территории обширной империи. При этом было обеспечено оперативное руководство войсками из центра, их самостоятельность на местах и быстрое развертывание армии в случае войны.

Наряду с организационными вопросами реформирования армии Д. А. Милютин занимался и вопросами ее технического перевооружения. Армия переходила от гладкоствольного к нарезному стрелковому оружию. В 1868 г. на вооружение пехоты, кавалерии и казачьих войск стала поступать винтовка системы Бердана, а затем — системы Крнка и Карле. В 1867 г. в артиллерии появились первые нарезные орудия, заряжаемые с казны. Чугунные и бронзовые орудия заменялись на стальные. Д. А. Милютин неоднократно посещал заводы, выпускающие предметы вооружения и был твердым сторонником развития отечественной военной промышленности вместо закупок за рубежом. Однако, несмотря на все его усилия, значительных изменений в обеспечении армии артиллерийскими системами не произошло, и к началу войны 1877–1878 г. русская полевая артиллерия еще значительно отставала от зарубежной.

В 1863 г. было утверждено «Положение о сохранении воинской дисциплины и наказаниях дисциплинарных», которое устанавливало порядок наложения дисциплинарных взысканий и определяло границы их применения начальствующими лицами. Впервые в русской армии были введены «Дисциплинарный устав» (1869) и новый устав «Внутренней службы» (1877). Дисциплинарная практика стала соответствовать правовым нормам гражданских буржуазных законов, вызванных к жизни судебной реформой в стране. Были введены офицерские суды чести и офицерские собрания.

От системы снабжения, при которой провиантские и комиссариатские департаменты были рассадниками злоупотреблений, армию перевели на снабжение Главным интендантским управлением, и резко сократили число чиновников. Были созданы неприкосновенные запасы на всех уровнях снабжения. Архаичная система хозяйства полка — боевой единицы русской армии, при которой командир полка единолично и безотчетно распоряжался расходованием полковых сумм, была заменена системой траты средств только на основании составленной предварительно сметы. Согласно закону, контроль хозяйственной деятельности осуществляли провиантские комиссии и выборные хозяйственные комитеты. Д. А. Милютин писал: «С этого времени полковые командиры перестали смотреть на хозяйство полка, как на собственное, свое личное хозяйство». Это позволило увеличить размер солдатского пайка, оклады строевых офицеров, для улучшения их финансового положения были введены офицерские заемные капиталы и военно–эмеритальная касса.

По случаю введения всесословной воинской повинности Александр II направил военному министру именной рескрипт, в котором писал: «Тяжелейшими трудами Вашими в том деле и просвещенным на него взглядом Вы оказали государству услугу, которую ставлю себе в особое удовольствие засвидетельствовать и за которую выражаю Вам мою истинную душевную признательность. Закон, мною утвержденный и ныне обнародованный, да будет — при Вашем содействии приводиться в исполнение в том же духе, в каком он составлен». Благодарность императора и слова, обращенные им к Д. А. Милютину, могут быть распространены на всю его реформаторскую деятельность.

Известно, что военное строительство государства тесным образом связано с его внутренней и внешней политикой. Поэтому в вопросах, внутренней политики военный министр был сторонником буржуазных реформ. Так при обсуждении закона о печати в 1865 г., он был противником сосредоточения власти над прессой в одних руках — Министерства внутренних дел. Он выступал против проекта министра просвещения Д. А. Толстого, стремившегося «под наружной оболочкой педагогической системы» сделать гимназическое образование привилегией дворянства. Либерализм Д. А. Милютина в вопросах образования ярко проявился в создании военных гимназий, прогимназий, юнкерских училищ и женского образования. В 1872 г. он отдал приказ об учреждении при Медико–хирургической академии первых в России «Курсов для образования ученых акушерок», которые с 1876 г. стали называться «Высшими женскими врачебными курсами». Милютин был противником различного рода мер полицейского характера при решении вопросов стабилизации внутреннего положения в стране. Он выступал против усиления власти губернаторов над местными органами самоуправления и распространения ее на судебную власть, как предлагал министр внутренних дел А. Е. Тимашев. Он справедливо считал, что ужесточение полицейских мер в виде тотальной административной высылки «неблагонадежных», не сделают их благонадежнее.

Однако, Д. А. Милютин, будучи либералом умеренного толка, не исключал возможности преобразований в границах самодержавного строя. Он был сторонником беспощадного подавления восстания в Польше и в этом вопросе оказался в одном ряду с генералом М. Н. Муравьевым (вешателем), министром государственных имуществ А. А. Зеленым и реакционным публицистом 1860–80‑х гг. М. Н. Катковым.

В вопросах внешнеполитической деятельности его путь определяется от неприятия военной географии, как науки необходимой офицеру Генштаба, через основанную им военную статистику к геополитике, которую он, если и не основал, о чем говорилось выше, то, безусловно, был глубоким ее разработчиком. Благодаря страстной убежденности в необходимости продолжения борьбы за Плевну в войне 1877–1878 гг., несмотря на неудавшиеся предыдущие три ее штурма, Д. А. Милютин смог преодолеть на военном Совете сопротивление некоторых генералов во главе с великим князем Николаем Николаевичем, которые полагали, «что кампания не удалась» и осаду надо снимать. Только последовательная аргументация Д. А. Милютина, опирающаяся на необходимость взятия Плевны не в тактическом или стратегическом, а именно в геополитическом плане, привела к напряжению сил в целях обеспечения ее падения. При этом необходимо отметить то, что сам Д. А. Милютин вместе с царем в течение семи месяцев находился на русско–турецком фронте и лично влиял на Александра II и военное командование в том направлении, которое считал необходимым. Д. А. Милютин внимательно следил за ходом внешнеполитических процессов. Желание обеспечить условия для завершения реформ заключалось в его программе необходимости сохранения мира в Европе и на Ближнем Востоке, т. е. там, где положение было наиболее нестабильным и опасным. Восточный вопрос — краеугольный камень внешней политики России всегда был под его пристальным вниманием. В записке, посвященной судьбам Оттоманской империи, Д. А. Милютин обращал внимание на опасность распада этого государства. Он считал, что ни одна из европейских держав не должна претендовать на преобладающее влияние на Балканах, высказывался на недопустимость захвата проливов какой–либо одной страной и за объявление Мраморного моря и проливов нейтральными. Иным был взгляд англичан, в том числе Уинстона Черчиля, на значение этого «мягкого подбрюшья Европы» в европейских делах.