Конечно, у Милютина не было особых иллюзий относительно этой новой должности, работы много, при этом совершенно неизведанной, а служебная оплата крайне низкая, вряд ли хватит на обеспечение все растущей семьи. Труда он не боится, привык работать по много часов подряд, не выходя из кабинета, но Горемыкин и профессор Стефан упоминали о возможности совмещать с другими занятиями.

Дмитрий Алексеевич тут же написал отцу и Николаю, которые в ответ выразили удовольствие от скорой встречи и от назначения на почетную должность. «Надежда соединиться вскоре с тобой есть для меня не только бесконечная радость, но совершенное счастье, – писал Николай Алексеевич. – При теперешнем общем соединении нашего семейства в Петербурге ты необходим и для него, и для меня в особенности. О многом нужно мне с тобою, – и с одним тобой, – поговорить, посоветоваться, погрустить, порадоваться; одним словом – поделиться мыслью, чувством, словом».

7 января 1845 года поступило официальное распоряжение военного министра о переводе подполковника Д.А. Милютина в Петербург на службу профессором Военной академии. Пора было собираться к отъезду из Ставрополя.

Последовали высочайшие указы и относительно высшего начальства на Кавказе: генерала Нейдгарта, проявившего нерешительность и боязливость, мелочность и педантизм, освободить от занимаемой должности и назначить наместником и главнокомандующим Отдельным Кавказским корпусом с широкими полномочиями графа Михаила Семеновича Воронцова (1782–1856), новороссийского генерал-губернатора и наместника Бессарабской области, которого тут же вызвали в Петербург для царских указаний.

Генерал Гурко, получивший орден Святого Александра Невского и должность помощника графа Воронцова, предложил и Милютину перевод в Тифлис на выгодную должность, что подтвердил и граф Воронцов, но Дмитрий Алексеевич отказался от предстоящего переназначения, отказался от блестящей карьеры на Кавказе, куда хлынули целые толпы золотой молодежи из Петербурга, чтобы начать эту карьеру здесь, на Кавказе.

Петербургские военные друзья упрекали Милютина за то, что он предпочитает «инвалидную службу» блестящей карьере, но Милютина уже ничто не могло удержать в Ставрополе.

10 февраля 1845 года Милютин распрощался со своим начальством, с друзьями и коллегами, передал свою должность подполковнику Неверовскому и на следующий день «выехал из Ставрополя по хорошей снежной дороге». «Но путешествие предстояло нам нелегкое, с ребенком, только что отнятым от груди, – вспоминал Милютин. – Ехали мы в возке самого простого изделия. Большие затруднения встретились относительно питания ребенка; взятые с собою припасы от сильных морозов привозились на станцию в обледенелом виде; станции же были так плохо устроены, что часто не было возможности ничего достать на месте, ни даже погреться. В проезде через обширные степи донские настигла нас страшная вьюга; были дни, что, проехав одну только станцию, рады были добраться до какого-нибудь пристанища. Раз мы даже сбились с дороги от метели, долго кружили и среди ночи должны были остановиться в какой-то избушке, на которую случайно наткнулись и где выждали рассвета вместе с приютившеюся там кучкой рабочих. Путь избрали мы на этот раз через Ростов (на-Дону), Харьков, Курск, Орел и Тулу; в этих городах останавливались для отдыха; в Москве же провели три дня (в гостинице Шевандышева на Тверской) под гостеприимным кровом наших друзей – барона и баронессы Торнау. В Петербург прибыли только 12 марта, т. е. пробыв в дороге ровно месяц».

Дмитрий Алексеевич вовсе и не предполагал, сколько деловых встреч, сколько радостных свиданий с друзьями, товарищами, коллегами предстояло ему сделать, сколько раз ему нужно было рассказывать о Кавказе, о размолвках с начальством, об их характерах, о быте кавказцев и о собственном быте в Ставрополе и на линиях атаки наших войск…

На первых порах Милютины разместились у любимой бабушки, у тещи, на Владимирской, недалеко от отца и братьев, живших в доме барона Фредрихса. После радостных встреч и объятий наступило время и подумать о печальной судьбе отца, все время работавшего для детей, для их благополучия, а тут получилось так, что он оказался без места и без средств к существованию, жил на попечении сына, Николая Алексеевича. А ведь был еще Владимир, студент Петербургского университета, гимназист Борис, которые тоже требовали внимания и материальных забот.

Николай Алексеевич в первые же встречи рассказал, что работа в департаменте подорвала его здоровье, ему нужен был заграничный отпуск и лечение минеральными водами. Собирался выехать, как только наступит потепление. Да и сестра Мария Алексеевна Авдулина тоже мечтала поскорее уехать лечиться за границу, но ее муж Сергей Алексеевич Авдулин, чиновник Министерства иностранных дел, вел слишком широкий образ жизни, вращался в высшем свете и расстроил свое состояние: не было средств для совместной поездки за границу. Все это неожиданно и вдруг обвалилось и на головы Дмитрия Алексеевича и Натальи Михайловны. А тут еще нужно было найти удобное помещение для жилья…

«Первые дни по приезде в Петербург, – вспоминал Милютин, – были для меня чрезвычайно хлопотливы и утомительны: я должен был представляться начальству, делать визиты знакомым и родным (дяде графу Павлу Дмитриевичу Киселеву и тетке Варваре Дмитриевне Полторацкой), искать квартиру и в то же время приниматься за дело совершенно новое для меня – преподавание в Военной академии. Могу сказать, что голова шла кругом».

Побывал у военного министра князя Чернышева, у генерал-квартирмейстера Берга, которые оба чуть ли не в один голос упрекнули Милютина за «бегство» с Кавказа, а директор канцелярии Военного министерства генерал-адъютант Анненков «прямо произнес приговор», что в конфликте начальника и подчиненного всегда виноват подчиненный. Добродушно встретили визиты Милютина вице-директор канцелярии барон Вревский, директор академии генерал-адъютант Иван Онуфриевич Сухозанет (1788–1861), вице-директор генерал-лейтенант Карл Павлович Ренненкампф (1788–1848), которые просят подполковника как можно быстрее приступить к лекциям по военной географии. Прочитав лекции своих предшественников и отметив в них много недостатков, Милютин начал заново готовиться к лекциям.

Представившись начальству, Милютин стал искать жилье. Вскоре он нашел, по его словам, «очень скромное, как раз по нашему тощему карману и, разумеется, в дальней части города». «Крошечный деревянный флигель» располагал тремя комнатами: столовая, гостиная, кабинет; в мезонине с двумя окнами, одна на улицу, другая во двор – спальня и детская. За двором – палисадник. Наталья Михайловна «приискала прислугу и обзавелась всем необходимым».

В академии почти ничего не изменилось, профессора остались на своих кафедрах. Порядки и дисциплина остались такими же строгими, как и были. В начале апреля 1845 года Милютин прочитал свою первую лекцию о Пруссии.

Из преподавателей академии Милютин близко сошелся с профессорами князем Николаем Сергеевичем Голицыным (1809–1892), военным историком, преподававшим стратегию и военную историю, с геодезистом Алексеем Павловичем Болотовым (1803–1853) и старым другом Федором Горемыкиным. Милютин охотно бывал у них, находя в их пристанище «радушный прием и приятную серьезную беседу».

В конце мая Николай и Мария уехали за границу лечиться. Перед отъездом Дмитрий и Николай, уединившись после торжественного прощального обеда, долго беседовали о политике, о литературе и искусстве, о деловых перспективах.

– Я много слышал о работе вашего департамента, – сказал Дмитрий Алексеевич, – извлек кое-что полезного из вашей работы. Вроде бы вновь приготовлен манифест об освобождении крестьян.

– Нет, проекты носятся по стране, но ничего дельного не предполагается, лишь полуреформы, старая аристократия против…. Император ничего не может поделать, – с грустью сказал Николай, давно мечтавший, как и Дмитрий, об отмене крепостного права.