В 1871 году Макаров в звании лейтенанта назначается на шхуну «Тунгус», которая отправляется в плавание во Владивосток. По прибытии туда Макарова неожиданно вызвали в Петербург. Вице-адмирал А. Попов привлекает его для разработки водоотливных средств для сооружаемых «поповок» и других судов. Теперь на всех судах Балтики внедряют «пластырь Макарова» и систему водоотливных «магистральных труб». В Морском сборнике появляется статья Макарова «О непотопляемости судов». Новизна захватила молодого лейтенанта надолго. Вычисления, чертежи, обследования строящихся судов, организация работ на них, чтение лекций, статьи, инструкции. «Работа по части непотопляемости невидная, результаты её скажутся только после аварий, никто не вспомнит, кому корабль обязан своим спасением». Здесь Макаров познает тонкости конструкций судов и кораблестроения. За успехи на поприще непотопляемости Макарова наградили орденом Святого Станислава III степени. Между тем на верфях Петербурга закладываются новые броненосные корабли по проектам Попова. Первые из них «Генерал-адмирал» и «Александр Невский». Сначала их отнесли к корветам, потом перевели в ранг фрегатов, а позднее по новой классификации стали называть крейсерами 1-го ранга. Эти корабли были много мощнее, чем любые иностранные фрегаты того времени. Все эти и другие корабли сооружаются на Балтике, а на Черном море, где обострилась обстановка, флота как такового не было: две тихоходные «поповки» для обороны побережья и несколько слабеньких корветов и шхун. Строительство флота на Черном море запрещалось договором, и Россия старалась восполнять эту недостачу хотя бы постройкой коммерческих пароходов. Турция же обладала мощными кораблями — 13 броненосцев, 2 монитора, 7 канонерок и много мелких судов.
Боевые действия в этой войне для моряков, как и в Крымскую войну, начались внезапно в 1877 году на Дунае. Здесь впервые в мире начали боевые действия минные катера. Во-первых, были заминированы все подходы к мостам и намеченным переправам наших войск. Для скрытности мины ставили ночью или в тумане. Потом на этих минах подорвалось немало турецких судов, и неприятель побаивался атаковать русские позиции. Минные катера сами начали атаковать турок новым видом орудия — шестовыми минами. На Черном море нашим морякам пришлось бороться с врагом «не числом, а умением». Война ещё не началась, а лейтенант Макаров предложил командованию смелый проект борьбы с неприятелем на Черном море. Проект его заключался в том, чтобы парализовать действия турецкого флота, используя как средство нападения минные катера. Но. катера не могли добраться к дальним местам базирования неприятеля. Зная, что на Черном море есть быстроходные торговые пароходы, Макаров предложил использовать их для доставки к месту атаки минных катеров. Имея на борту несколько таких катеров, пароход незаметно ночью подходит к вражеской эскадре и спускает на воду минные катера, катера внезапно атакуют противника, немедленно возвращаются к пароходу, их поднимают на борт, и, как говорится, «только их и видели».
Сначала мысли Макарова не нашли поддержки, но он продолжал настойчиво искать единомышленников. Наконец-то после перевода на Чёрное море его проект нашёл союзника в лице главного командира Черноморского флота адмирала Н. Аркаса. Макарова назначили командиром самого быстроходного парохода «Великий князь Константин», зафрахтованного у торгового пароходства. Его вооружают артиллерией, оборудуют подъёмными средствами — для четырёх минных катеров — «Чесма», «Синоп», «Наварин», «Минёр». Макаров решил использовать не только шестовые мины, но и попробовать для атаки буксируемые на специальных тросах. В этом случае катер резким разворотом у борта или под кормой неприятельского корабля подводил буксируемую мину под днище... Взрыв происходил от соприкосновения с корпусом ударного механизма или мина подрывалась электричеством по проводам...
В первый день войны 12 апреля 1877 года Макаров построил команду на верхней палубе и обратился к матросам и офицерам.
— Война объявлена, — начал он несколько взволнованно, — мы идём топить турок. Знайте и помните, что наш пароход есть самый сильный миноносец в мире и одной нашей мины достаточно, чтобы утопить самый сильный броненосец. Клянусь вам честью, что я не задумываюсь вступить в бой с целой турецкой эскадрой. Мы дёшево не продадим нашу жизнь!
Громкое «Ура!» покрыло последние слова командира.
Макаров приказал развести пары и хотел сразу идти для атаки в Константинополь, чтобы застать неприятеля врасплох. Однако командование не думало торопиться, дело было новое и неизвестное, чем ещё обернётся.
Тем временем турки, уверенные в безнаказанности, начали громить русские порты — Поти, Гудауты, Сухуми. Спустя две недели после начала войны, получив наконец «добро» командующего флотом, «Константин» вышел в море на поиски неприятеля. Вечерними сумерками подошли к Батуми. Вдали на рейде мерцали огни турецких кораблей, и, застопорив машины, в полной тишине спустили на воду все четыре катера и направились к берегу. Макаров шёл первым на катере «Минёр». Было решено провести атаку буксируемыми минами. Первым стремительно вышел вперёд самый быстроходный катер «Чесма» под командой опытного лейтенанта Зацаренного. Он ловко подвёл мину под корму турецкого корабля, но она почему-то не взорвалась. Турки всполошились, открыли бешеный огонь и бросились вдогонку. Пришлось уходить, так как вступать в бой слабо защищённому пароходу с несколькими боевыми кораблями было бессмысленно. Первый «блин вышел комом», основной элемент успеха — внезапность — был упущен. Однако неудача не обескуражила Макарова и его единомышленников.
Не прошло и месяца, в мае 1877 года Макаров повёл «Константин» в Сулин, в устье Дуная. Там между островом Змеиным и портом Сулин крейсировал отряд броненосцев, затрудняя действия нашей армии. Для успеха Макарову придали для усиления два крупных минных катера, которые «Константин» взял на буксир. Первым катером командовал лейтенант Рождественский, вторым — лейтенант Пущин.
Турки явно не ожидали русских. Безмятежно мерцали огни в Сулине и на Змеином. Неожиданно «Константина», застопорившего ход, потянуло сильным течением к берегу и приткнуло к мели. С большими потугами к рассвету снялись с мели. В туманной дымке, в сторону моря из Сулина, проследовал турецкий броненосец. Макаров собрал командиров:
— План атаки таков. Малые катера берут на буксир оба больших катера, дабы не обнаружить себя шумом машин больших катеров. Как только определится на рейде неприятель, буксиры отдаются, катера выстраиваются в кильватер и атакуют врага. Рождественский и Пущин охватывают турок с флангов, остальные катера бьют по центру.
Приближалась полночь 27 мая. У турок — полное спокойствие.
— В добрый час! — напутствовал моряков Макаров.
Завидя стоявшие на рейде броненосцы, катера разделились и устремились в атаку. «Чесма» атаковала первой, но Зацаренного опять постигла неудача. Как только он сбросил мину, трос намотался на винт и катер остановился. Турки встрепенулись и открыли ружейный огонь. Несмотря на обстрел, лейтенант Рождественский спокойно подошёл к борту одного из трёх броненосцев и подвёл мину. Раздался глухой взрыв, а вслед за ним дружное «Ура!» с «Чесмы». Одновременно открыли огонь орудия броненосцев. Он осветил огромный столб воды, поднявшийся от взрыва. Турецкий броненосец «Иджалие» не затонул, но вышел из строя до конца войны. К сожалению, катер Пущина изрешетили, он потерял ход, и, чтобы не достаться неприятелю, командир затопил его. Команда спаслась вплавь, но на берегу её, безоружную, пленили турки.
Это был первый несомненный успех Макарова и нового вида оружия. За дело на Сулинском рейде Макарова наградили орденом Владимира IV степени с бантами. Рождественского Святым Георгием IV степени. Следом «Константин» отправляется в разведку к Босфору. Во время рейда были уничтожены четыре турецких судна.
Война шла своим чередом, вооружённые русские пароходы всё чаще тревожили турок: жгли и захватывали в плен шхуны с десантами и снаряжением, отвлекали турецкие корабли от Кавказского побережья, там действовали наши войска.