Видя, как войска захватчиков стремительно продвигаются по территории родной страны, по словам Якова Федотовича, он не мог дольше оставаться завскладом. Ему удалось добиться отправки на курсы, вскоре он получил звание сержанта и стал командиром стрелкового отделения.
В 1942 году Павлов был переведен в 42-й гвардейский стрелковый полк 13-й гвардейской дивизии генерал-майора А. И. Родимцева. В июле-августе 1942 года старший сержант Я. Ф. Павлов находился в городе Камышин, где быстрыми темпами шло переформирование дивизии. Здесь он принял командование пулеметным отделением 7-й роты 3-го батальона своего полка.
Когда в сентябре 1942 года Сталинградская битва шла уже на улицах города, ожесточенные бои шли за каждый дом, за каждый этаж, за каждую лестничную клетку. Рассчитывая прорваться к Волге в районе площади 9 января, немецкое командование постоянно подтягивало сюда дополнительные силы. В этой ситуации важное стратегическое значение приобрел наименее пострадавший после артобстрелов и бомбежек четырехэтажный жилой дом, с верхних этажей которого хорошо просматривается центральная часть города и проходы к Волге. Пулеметное отделение Павлова еще с 18 сентября обстреливало захваченный к этому времени немцами жилой дом. Перед командованием 42-го гвардейского стрелкового полка была поставлена задача выбить противника из удобного опорного пункта. Для выполнения задания была создана разведгруппа из четырех человек во главе с сержантом Яковом Павловым. В ее состав также вошли рядовые Н. Я. Черноголов, В. С. Глущенко и А. П. Александров. При попытке добраться до дома, когда разведчики по-пластунски переползали прилегающую к нему асфальтированную улицу, они попали под шквальный огонь противника. Тем не менее, несмотря на постоянный обстрел, к вечеру 27 сентября бойцы все же сумели пробраться в нижние этажи дома.
Вооружение четверки разведчиков состояло из автоматов, ножей и гранат. Осторожно, шаг за шагом, разведчики знакомились с домом и оценивали обстановку. В первом подъезде в подвале они обнаружили жильцов верхних этажей, лица которых выражали неподдельное изумление при виде наших бойцов. Эти люди и помогли гвардейцам правильно сориентироваться и определить местонахождение немцев в доме — первый этаж второго подъезда. Пробравшись в указанное место, за дверями двух квартир разведчики услышали немецкую речь. Распахнув одновременно обе двери, они действовали так, как положено штурмовым группам, как уже неоднократно им приходилось бить врага в сталинградских развалинах, — забросали немцев гранатами, ворвались в комнаты, полные дыма и пыли, и дали несколько автоматных очередей.
В подвале второго подъезда бойцы также обнаружили жильцов дома. Среди них Павлов увидел знакомое лицо — это был санинструктор 13-й гвардейской дивизии С. С. Калинин, который оказывал помощь раненым. Он подтвердил, что жители рассредоточены в подвалах, а немцы располагались лишь во втором подъезде. Тем не менее пав-ловцы обошли все здание и сами убедились, что оно полностью в их руках. Главная задача по разведке обстановки в доме группой была выполнена. Но Яков Федотович вполне логично предположил, что немцы вскоре предпримут попытку вернуться в дом. Необходимы были дальнейшие указания командования. Кроме того, у разведчиков почти не оставалось боеприпасов. Нужно было во что бы то ни стало связаться с командным пунктом полка, который находился в здании мельницы. Как доставить донесение? Остаться втроем было рискованно. Павлов принял решение отправить с донесением к комбату А. Е. Жукову санинструктора Калинина. Разведчикам оставалось только ждать: дойдет Калинин до командного пункта или нет?
Тем временем немцы чуть ли не каждые полчаса открывали по зданию огонь из орудий и минометов, вряд ли они предполагали, что его обороняли только четыре бойца. Ожидание связи с полком становилось все тревожнее. Но, несмотря на сложность и драматизм ситуации как для бойцов, так и для мирных жителей, жизнь продолжалась: жильцы сварили похлебку, накормили ею бойцов. Волновались люди и на КП полка, и на КП дивизии, где уже больше суток не было известий от четверки разведчиков. Когда напряжение было на пределе и командование обсуждало возможные дальнейшие действия в отношении этого дома, в подвал мельницы, где находился штаб батальона, ввалился боец. Без пилотки, в грязи, с надорванной полой шинели. Это был санинструктор Калинин, который начал доклад словами: «Я из дома Павлова». Он сообщил, что разведчики без потерь проникли в дом и держат его оборону.
Ни командир полка И. П. Елин, ни командир батальона капитан А. Е. Жуков в тот момент не обратили внимания, что обычное четырехэтажное здание, о котором шла речь в докладе, в этот момент устами Калинина обрело новое название. Было решено немедленно отправить разведчикам подкрепление, боеприпасы, продовольствие. Делать это было необходимо скрытно, не привлекая внимания противника, поэтому гарнизон дома было решено пополнять небольшими группами. Постепенно ряды защитников дома пополнили бронебойщики, пулеметчики и среди них совсем юный Илья Воронов. За время обороны дома, геройски отбивая атаки гитлеровцев, он получил более двадцати ран.
Еще больше моральный дух защитников «Дома Павлова» укрепляло то, что они теперь больше не чувствовали себя оторванными от родного батальона: для сообщения с мельницей была прорыта траншея, связисты наладили связь, а в подвале второго подъезда, где разместился штаб небольшого гарнизона, появился телефон с позывным «Маяк». 9 октября 1942 года, за подписями командира 42-го гвардейского полка гвардии полковника И. П. Елина и гвардии старшего батальонного комиссара О. И. Кокушкина, было составлено представление к награждению орденом Красной Звезды гвардии младшего сержанта Павлова. Приказом командующего 62-й армией В. И. Чуйкова за № 058/Н от 20 октября он был награжден медалью «За отвагу».
Немцы вновь и вновь обрушивали на дом град снарядов. Казалось, им не терпелось стереть с лица земли здание, раз уж у них не получилось сохранить выгодную позицию. И хотя стены дома были сильно изрешечены пулями и осколками, а местами сильно разрушены, он по-прежнему возвышался прочным бастионом, неприступной крепостью. Теперь уже немцы стали получать из «Дома Павлова» чувствительные ответные удары. Оценив обстановку, Павлов по связи сообщил командиру роты о том, что в доме имеется очень удобная позиция для снайпера. Вскоре к нему был отправлен снайпер Горя Хохолов, который днем, едва закончился обстрел, поднялся на чердак. К концу первого дня на счету снайпера было уже около двух десятков позиций…
Защитники дома старались постоянно совершенствовать оборону. В книге «В Сталинграде» Павлов писал о том, что, увидев, как немцы скрываются в глубокой траншее между занятыми ими домами и пулеметный огонь перестал доставать их, опытный, несмотря на свою молодость, и находчивый пулеметчик Воронов предложил: «Сейчас бы здесь нашему ротному миномету поработать». На следующую ночь прибыл взвод ротных минометов под командованием младшего лейтенанта А. Н. Чернышенко. Минометчики наловчились стрелять так, что их мины ложились в самую траншею. Потери немцев стали быстро расти, что подвигло их предпринять новую серию яростных атак, вновь безуспешно. Несколько раз немцы пытались разбомбить дом с воздуха. Но днем это сделать было не так-то легко: советские зенитчики встречали немецкие самолеты сильнейшим огнем. Немецкие летчики попытались перейти на ночные бомбардировки, но в темное время суток самолеты надо было наводить на цель. Проще всего это было сделать с помощью сигнальных ракет. Засевшие в здании напротив немецкие солдаты начали выпускать в сторону «Дома Павлова» зеленые ракеты. И здесь опять сработала смекалка советского солдата: из своих ракетниц бойцы стали запускать ракеты зеленого цвета в сторону расположения противника. Немецкие летчики так и не смогли вычислить цель и сбросили свой смертоносный груз на дома, которые занимала их пехота. Позже немцы пытались навести свои самолеты ракетами других цветов, но защитники дома всегда путали им карты, также меняя цвет ракет.
