Вплоть до 1903 г. Анатолий Николаевич не занимает никаких видных должностей, казалось бы, карьера его застопорилась. Лишь с февраля 1899 по февраль 1900 г. занимал должность начальника части по изданию уставов и положений об образовательных учреждениях при Генеральном штабе. Полковник, он не имеет полноценного опыта командования ни ротой, ни батальоном, а для дальнейшего продвижения по службе ему необходимо получить полк. Его амбиции не удовлетворены, а ощущение несправедливости лишь сильнее портит его характер и без того желчный и неуживчивый. Необходимо отметить, что сам он пишет, что за 36 лет службы лишь три его начальника были «благородные люди». Сложно сказать, что Анатолий Николаевич подразумевал под этими словами, но его непростые взаимоотношения с начальством однозначно были причиной карьерных трудностей. Только 3 февраля 1903 г., почти через восемь лет после присвоения полковничьего чина, Розеншильд получает свой полк – 7-й стрелковый полк 2-й стрелковой бригады. Это назначение явно не радует его – стрелковые части в то время считались частями второго сорта, считалось, что они пригодны лишь для борьбы с иррегулярными формированиями – китайцами, горцами, бандитами, переподготовки запасников, обучения пополнения. Тем не менее именно во главе этого полка Анатолию Николаевичу предстояло проявить себя на промерзших полях Маньчжурии. Летом 1904 г. его полк был отмобилизован, приведен в четырехбатальонный (в мирное время стрелковые полки состояли из двух батальонов) состав военного времени и в составе своей бригады был отправлен на театр военных действий. Бригада находилась в резерве 2-й армии вплоть до 13 января 1905 г., когда была привлечена к атаке селения Сандепу, до этого уже неудачно атакованного подразделениями 14-й пехотной дивизии. Новая атака деревни обернулась ничем и стоила 7-му стрелковому полку большой крови, однако в ходе боя Розеншильд продемонстрировал такие важные для полкового командира качества, как решительность, твердость и стойкость, впоследствии еще ярче проявившиеся в годы Первой мировой. За это дело Розеншильд был награжден орденом Святого Владимира 4-й степени с мечами и бантом. Вскоре стрелкам Розеншильда выдался еще один случай подтвердить свою боевую репутацию. В ходе Мукденского сражения 21 февраля 7-й стрелковый полк занял оборону в деревне Сятхзы на северном фланге русских армий, подвергавшегося постоянным атакам японцев. Стрелки удерживали деревню три дня, отбивая приступ за приступом. Сам Розеншильд в этом бою был контужен, однако продолжал руководить своими солдатами. За эти отважные действия в июне 1905 г. ему было пожаловано звание генерал-майора, не по старшинству, а «за боевые отличия», а также золотое оружие «За храбрость».

После краткого командования 2-й бригадой 10-й Восточно-Сибирской стрелковой дивизии в ноябре 1905 г. Розеншильд принял командование лейб-гвардии 1-м стрелковым Его Величества батальоном, а в 1906 г. причислен к Свите Его Величества. Тень стрелковых частей словно витает над Розеншильдом, ибо даже в гвардии он служит в условно второсортных частях. Стоит отметить, что «второсортность» стрелковых частей была мнимой, во всех войнах и кампаниях, в которых им довелось участвовать, стрелковые полки и батальоны нередко показывали лучшие боевые качества, нежели «перворазрядные» пехотные части, и сам же Розеншильд во главе 7-го стрелкового полка убедительно доказал это, но тем не менее его явная забота о внешнем статусе все больше создавала убеждение его недооцененности начальством. После лейб-гвардии 1-го стрелкового батальона в 1907 г. Розеншильд получает должность ответственную и важную – начальника Офицерской стрелковой школы в Ораниенбауме.

Офицерская стрелковая школа была специфическим учебным заведением, одновременно бывшим и научно-исследовательским центром. В ней проходили тактическую переподготовку офицеры пехоты, претендовавшие на должности командиров батальонов и полков. Помимо своего основного профиля, Офицерская стрелковая школа проводила целый ряд исследований баллистики стрелкового оружия, разрабатывала тактику его применения, а также вела испытания зарубежного стрелкового оружия. Эффективность работы испытателей школы была такова, что многие зарубежные образцы, еще не успевшие получить широкое распространение в зарубежных армиях, уже проходили испытания на ее полигоне. До Русско-японской войны значение школы в образовании офицерского корпуса было невелико, и ее окончание не давало служебных преимуществ ее выпускникам, но сражения в Маньчжурии показали не всегда удовлетворительный уровень тактических знаний командиров рот и батальонов, и роль Офицерской стрелковой школы неимоверно возросла. Именно при Розеншильде выросло и качество образования слушателей школы, и круг изучаемых предметов. К началу Первой мировой окончание школы говорило о высоком уровне тактических знаний офицера и давало ему преимущественное право получения штаб-офицерского чина.

Розеншильд многое сделал для совершенствования системы обучения офицеров и для развития стрелкового дела в армии. Во время его командования Офицерской стрелковой школой им были разработаны предложения по реформированию военного образования, опубликован ряд статей в «Русском инвалиде» о круге обязанностей офицеров и унтер-офицеров, о стрелковых курсах для широких кругов офицерства. Многие его мысли так или иначе были воплощены в жизнь, так как легли в русло общих настроений, царивших в то время в армии.

Русская пехота на полях Маньчжурии показала высокий боевой дух, желание наступать, стойкость, храбрость и высокую мотивацию; в то же время низкий уровень стрелковой подготовки солдат, общий уровень образования офицеров, нехватка достаточного количества унтер-офицеров, неумение взаимодействовать с другими родами войск, невнятная кадровая политика, ставившая выслугу лет важнее личных качеств и заслуг и перегруженность офицеров обязанностями, существенно снижали ее боевой потенциал. Армия перед Великой войной жила в ожидании перемен, с готовностью их принимала и проводила в жизнь. В ходе военных реформ было очень много сделано для повышения стрелковой подготовки пехоты, тактических знаний офицеров, повышения эффективности обучения солдат. Многие свои идеи Розеншильду пришлось воплощать на практике: в феврале 1909 г. он принял под командование 2-ю бригаду 12-й пехотной дивизии в Виннице, состоявшую из 47-го пехотного Украинского и 48-го пехотного Одесского императора Александра I полков, а затем в ноябре 1911 г. 1-ю бригаду 42-й пехотной дивизии в Киеве (165-й пехотный Луцкий, 166-й пехотный Ровненский полки). Однако из-за своего резкого и неуживчивого характера карьера давалась Розеншильду тяжело – большинство его сверстников и однокашников опередили его в чинах и должностях, а он лишь в мае 1914 г. получает звание генерал-лейтенанта и дивизию – 29-ю пехотную в Риге, из состава 20-го армейского корпуса. Вместе с этой дивизией он вступил в Великую войну и разделил с ней ее участь, попав в плен в Августовских лесах.

Справедливости ради, надо сказать, что высокие служебные качества Анатолия Николаевича позволили ему получить под начало одну из лучших армейских дивизий того времени, однако презрение к «незаслуженно получившим» чины и должности генералам, зависть чужим успехам, гвардейские замашки сослужили ему плохую службу.

Подчиненные его недолюбливали, отношения с коллегами по должности и вышестоящим начальством были натянутыми. При этом большинство исследователей отмечают его храбрость и решительность на посту начальника дивизии, не подвергавшиеся сомнению современниками. Однако «почерк» Розеншильда как военачальника небезупречен: под Гумбиненом, имея не вовлеченные в бои части, Розеншильд проигнорировал отчаянные призывы начальника 28-й пехотной дивизии Лашкевича и дал немцам разгромить оставленную в одиночестве дивизию. Воспоминания Анатолия Николаевича нисколько не проливают свет на этот эпизод: он лишь отмечает, что 28-я дивизия «панически бежала».

Оказавшись в плену, Розеншильд берется за написание воспоминаний о своем участии в боевых действиях, благо отношение немцев к пленным генералам было на очень высоком уровне и никаких препятствий подобным занятиям не чинилось. Вернуться на родину Розеншильду удалось лишь в конце 1918 г., когда по всей России уже вовсю полыхала Гражданская война. Не колебаясь, Анатолий Николаевич сделал свой выбор, присоединившись к Добровольческой армии. В августе 1919 г. ему удалось отличиться, участвуя в занятии Одессы, после чего он собрал отряд добровольцев и успешно наступал на Киевском направлении, где и действовал против войск Петлюры до самого конца года. После краха белого фронта в начале 1920 г. при эвакуации из Новороссийска Розеншильд провалился в трюм корабля и сломал ногу. Перелом оказался сложным, и, поскольку имевшиеся в распоряжении ресурсы не позволяли осуществлять качественное лечение, пожилого генерала отправили на излечение в Сербию. В ней он и провел остаток жизни, занимаясь тем, что он умел лучше всего – военной службой. Вплоть до самой своей смерти он состоял в инспекции пехоты Военного министерства Королевства Сербии, Хорватии и Словении. В эмиграции Анатолий Николаевич создал несколько трудов по военному делу и истории Первой мировой войны, в которых анализировал причины неудач русских войск и подвергал резкой критике их командование. Скончался генерал-лейтенант Розеншильд фон Паулин 22 ноября 1929 г. по новому стилю в Нови-Саде, где и был похоронен на местном кладбище.