1 июля 1846 года Великий Князь Николай Николаевич был произведён в подпоручики. Однако это производство в офицеры и даже пожалование ему в следующем году чина поручика, а в 1848 году капитана не прекратили его лагерных занятий с кадетами, в рядах которых он последовательно занимал разные строевые должности, дойдя в 1850 году до командования батальоном 1-го кадетского корпуса.
Действительная служба его началась в лейб-гвардии Конном полку в должности командира дивизиона (1851). В 1852 году Николай Николаевич был произведён в генерал-майоры с зачислением в Свиту Его Императорского Величества и с назначением Генерал-Инспектором по инженерной части, а также командиром 1-й бригады 1-й лёгкой гвардейской кавалерийской дивизии.
С началом Восточной войны, когда войска наши потерпели неудачу при Альме и Севастополю грозила серьёзная опасность, Император Николай I для поднятия духа действующей армии послал в ряды её своих сыновей, Великих Князей Николая и Михаила. Они прибыли в Севастополь 23 октября 1854 года, накануне Инкерманского сражения, в котором и приняли участие. Находясь под сильнейшим неприятельским огнём, они служили примером настоящей воинской доблести, за которую и были награждены орденом Снятого Георгия 4-й степени.
По распоряжению главнокомандующего Великий Князь Николай Николаевич 20 января 1855 года был назначен заведовать всеми инженерными работами, укреплениями и батареями на Северной стороне Севастополя, от Константиновской батареи до Мекензиевой горы включительно. Боевая деятельность Великого Князя была прервана кончиной Императора Николая I, которая заставила их немедленно выехать в Санкт-Петербург.
Царствование Императора Александра II открыло Великому Князю Николаю Николаевичу широкое поле деятельности. 27 марта 1855 года он был назначен членом Государственного совета. Летом по Высочайшему повелению он был командирован в Финляндию для укрепления подступов к Выборгу со стороны Транзунда, а также для осмотра и проверки берегов, батарей и укреплений.
Осенью он вместе с Государем прибыл в Николаев, который в то время приводился в оборонительное положение; заведуя инженерными работами, Великий Князь Николай Николаевич лично руководил ими с большой энергией и успехом. Затем он отбыл в Кронштадт для общего руководства всеми работами по усилению рейда и заграждению подступов к нему.
25 января 1856 года Великий Князь Николай Николаевич вступил в исполнение обязанностей по званию Генерал-Инспектора инженерной части и оставался на этом посту до самой кончины. В тот же день он был назначен генерал-адъютантом.
26 августа 1856 года Его Высочество был произведён в генерал-лейтенанты и назначен почётным президентом Николаевской инженерной академии и начальником 1-й лёгкой (ныне 2-й) гвардейской кавалерийской дивизии. В следующем году он был назначен членом комитета о способе ремонтирования кавалерии, а в 1859 году — командующим гвардейским резервным кавалерийским корпусом.
30 августа 1860 года Великий Князь Николай Николаевич производится в инженер-генералы, через год назначается командиром отдельного гвардейского корпуса, 10 августа 1864 года — командующим войсками гвардии и Санкт-Петербургского военного округа, 15 августа того же года — Генерал-Инспектором кавалерии с оставлением во всех прочих должностях и званиях и 18 августа — членом комитета о раненых.
До глубины души военный, Великий Князь умел предъявлять вверенным ему войскам и учреждениям боевые требования, вполне соответствовавшие духу происходивших в то время реформ в нашей армии. Его любовь к солдату и офицеру, увлечение военным делом, кипучая энергия, служебный такт, умение заинтересовать своих подчинённых работой и, наконец, полное доверие к нему свыше были причиной того, что труды Великого Князя сопровождались полным успехом.
Деятельность Великого Князя на посту командующего (с 30 августа 1867 года — главнокомандующего) войсками гвардии и Санкт-Петербургского военного округа составила особую эпоху в службе и жизни этих войск. Наша кавалерия под его руководством быстро шагнула вперёд, отказавшись от устаревших традиций манежной езды и исключительно смотровых требований предшествовавшего царствования. Страстный знаток и любитель лошадей, природный кавалерист, Великий Князь на посту Генерал-Инспектора кавалерии с большим успехом обнаружил свои дарования в кавалерийском деле.
В 1872 году он совершил большое путешествие в Турцию и в Святую Землю, продолжавшееся 2 месяца. Оно подробно описано в книге Д.А. Скалона «Путешествие по Востоку и Святой Земле в свите Великого Князя Николая Николаевича в 1872 году».
Когда осенью 1876 года стала очевидна неминуемость Русско-турецкой войны, Император Александр II назначил Великого Князя главнокомандующим Дунайской армией. 23 ноября 1876 года Великий Князь прибыл в Кишинёв и начал работу по сосредоточению армии и подготовке к переправе её через Дунай.
23 апреля 1877 года он осматривал под огнём турецких судов укрепления в Галаце и Браилове, 8 и 9 июня совершенно тайно производил разведку берегов Дуная, 10 июня присутствовал при переправе через Дунай XIV армейского корпуса генерала Циммермана, а 15-го руководил переправой через Дунай у Систова и за успешное её выполнение был награждён орденом Святого Георгия 2-й степени.
Последовавшее потом занятие Тырнова отрядом генерала Гурко побудило Великого Князя самому идти с главными силами вслед за этим отрядом на Тырнов и далее на Балканы, но неудача под Плевной 8 июля приостановила дальнейшее наступление. Только тогда Государь согласился на неоднократные доводы Великого Князя о недостаточности сил армии, и на театр войны были вызваны гвардия, гренадерский корпус, 4 пехотные дивизии и стрелковая бригада.
Взятие Ловчи 23 августа и увеличение наших сил более чем до 80 тысяч дали возможность Главнокомандующему возобновить штурм Плевны, но последний, произведённый 30 августа, не принёс нам успеха и заставил Государя собрать военный совет, на котором Великий Князь, считая невозможным продолжать войну при создавшихся условиях, высказался за необходимость отступления к Дунаю и возобновить кампанию лишь весной будущего года. Столь решительным мнением он полагал возможным воздействовать на Государя в смысле более значительного увеличения наших сил для исполнения стоявшей перед ним серьёзной задачи. Однако Государь не согласился с этим мнением: было решено не отступать от Плевны, начать правильную осаду её и вызвать на театр войны генерала Тотлебена.
Попытка Осман-паши 28 ноября 1877 года прорваться из Плевны закончилась пленением 40-тысячной турецкой армии. За взятие Плевны Великий Князь был награждён орденом Святого Георгия 1-й степени.
Этот решительный успех побудил его принять план немедленного зимнего перехода через Балканы. Смелое решение Великого Князя, доложенное на военном совете 30 ноября, было утверждено Государем, хотя встретило многих противников в лице даже таких генералов, как Тотлебен, Скобелев и Радецкий.
Поход этот представлял собой действительно необычайные трудности для наших войск, но зато блестящее выполнение его решительно повернуло всю кампанию в нашу пользу и побудило турецкое правительство начать переговоры о перемирии. К этому времени мы уже заняли Филиппополь, захватив, таким образом, железную дорогу к Константинополю, и подходили к Адрианополю.
Занятие последнего 10 января 1878 года побудило Великого Князя самому отказаться от тех условий перемирия, которые турки не решились принять накануне и, пользуясь паникой противника, стремительно наступать не только на Константинополь, но и на Галлиполи, справедливо оценивая чрезвычайно важное стратегическое значение этого последнего пункта.
В то же время Великий Князь донёс Государю своё крайнее убеждение, что «при настоящих обстоятельствах невозможно уже теперь останавливаться и ввиду отказа турок от условий мира необходимо идти до Царьграда и там покончить предпринятое Тобой святое дело».
13 января он прибыл в Сейменли-Тырново, где получил присланную Государем золотую саблю с алмазами и надписью «За переход через Балканы в декабре 1877 года» и, имея в виду взятие нашими передовыми частями железнодорожной станции Люле-Бургас, в 150 вёрстах от Константинополя, и станции Демотики в 80 вёрстах от Эгейского моря, приказал генералу Скобелеву произвести рекогносцировку к Царьграду и сделал распоряжения на случай войны с Англией и в особенности захвата ею выхода из Босфора в Чёрное море.
