В январе 1923 года курсы были расформированы, и наиболее способных учащихся, в число которых попал и Людников, перевели в Одесскую пехотную школу. Вскоре ее слушатели участвовали в учениях, проведенных около румынской границы. Путь до нее и обратно они проделали пешком. Для этого каждому было выдано по три дополнительных пары лыковых лаптей. За время похода курсанты поизносились так, что вернулись в Одессу босыми и в обтрепанном обмундировании. Вскоре после этого им выдали наконец новую форму, шинели и обувь.

Людников выделялся среди своих товарищей и успехами в учебе, и активной общественной работой, в чем у него уже был немалый опыт. Его избрали комсоргом роты и членом комсомольского бюро. Курсанты дружили с молодыми рабочими Январских железнодорожных мастерских, были шефами села неподалеку от Одессы. Такая форма общения отвечала духу времени и, как считалось, способствовала расширению кругозора и привлечению молодежи к военной службе.

Успехи Людникова в учебе, его авторитет среди товарищей, политическая грамотность не остались не замеченными руководством школы. В 1924 году его назначили командиром взвода, избрали делегатом городской комсомольской конференции. Но в том же году он получил горестную весть из дома — умер отец. Иван тяжело переживал утрату и, понимая, как тяжело придется теперь его младшим братьям и сестрам, думал даже о том, чтобы вернуться домой, но все-таки решил продолжить обучение. Он написал председателю хуторского совета, попросив оказать помощь семье.

После окончания Одесской пехотной школы и полугодовой стажировки в войсках в августе 1925 года Людников становится командиром Красной армии. Незадолго до этого он был принят в ряды ВКП(б). В связи с острой нехваткой кадров выбор места службы у молодых офицеров был большой. Но Людников давно для себя решил, что служить будет в отдаленном гарнизоне, где могут возникать непредвиденные ситуации, требующие принятия самостоятельных решений и скорейшего овладения командирскими навыками. Поэтому из предложенных вариантов он выбрал Кавказ, регион, где было неспокойно. Его первая командная должность — командир взвода 37-го стрелкового полка 13-й Дагестанской стрелковой дивизии.

В подчинении у Людникова оказались совсем молодые ребята, из которых ему предстояло сделать умелых бойцов. Очень скоро он имел возможность убедиться, что выбранное место службы было не только удаленным, но и горячим. Много раз взвод Людникова участвовал в схватках с бандитскими отрядами, оставшимися в горах после окончания Гражданской войны. В одной из таких операций был захвачен имам Нажмудин Гоцинский, бывший одним из руководителей антибольшевистского движения в Дагестане в 1917–1921 годах. Спустя год с начала службы Людников назначается командиром пулеметной роты, но пробыл он на этой должности лишь около двух месяцев.

Командование отмечало в нем не только умение руководить подчиненными в бою, но и задатки воспитателя и наставника. Людникова переводят во Владикавказскую пехотную школу. Согласившись на преподавательскую работу, он и сам не ожидал, что будет заниматься обучением курсантов военному делу в течение восьми лет. Именно такой срок прослужил Людников в этом учебном заведении, пройдя путь от командира взвода до начальника штаба батальона.

Несмотря на удаленность от Москвы и других крупных центров сосредоточения военных учебных заведений, уровень преподавания на новом месте службы Людникова соответствовал современным требованиям. Этому способствовали и хорошая учебная база, и высокий профессионализм преподавательского состава, и окружающая обстановка. Личный состав училища, включая командиров и слушателей, неоднократно привлекался к ликвидации бандитских формирований в горах неподалеку от Владикавказа.

В течение всего периода службы в училище Людников не только учил, но и постоянно учился сам, совершенствуя свои знания и используя все свободное время для осуществления своей давней мечты — поступлению в Военную академию им. М. В. Фрунзе. Этому способствовали и деловая товарищеская атмосфера в коллективе пехотной школы, и творческое отношение к подготовке молодых офицеров. О высоком уровне подготовки кадров в этом учебном заведении говорит тот факт, что среди его выпускников оказалось много военачальников и командиров, впоследствии отличившихся в ходе Великой Отечественной войны, в том числе Героев Советского Союза. А один из преподавателей училища — командир взвода управления учебного артдивизиона Тычинский в период Сталинградской битвы был начальником артиллерии в 138-й стрелковой дивизии, которой командовал Людников.

Во время службы во Владикавказе Иван Ильич познакомился с девушкой, уроженкой этого города, Евгенией Васильевной Карягиной, и в 1927 году молодые люди создали свою семью. Евгения Васильевна была настоящей офицерской женой, понимала все трудности профессии своего мужа. Иван Ильич и Евгения Васильевна прожили вместе почти 50 лет и воспитали троих сыновей.

В 1934 году Людникова перевели в Казань руководителем тактики пехоты Татаро-Башкирской военной школы. Назначение на новую должность в крупное учебное заведение означало, что о Людникове уже сложилось мнение как о хорошем военном специалисте и педагоге. Он не только с успехом вел теоретические занятия, но и закреплял знания офицерской аудитории работой с картами, на макетах, во время практических занятий на местности, что особенно нравилось слушателям.

В том же 1934 году начала сбываться мечта Людникова — он поступил на заочное отделение Военной академии им. М. В. Фрунзе, а в апреле 1935 года перевелся на дневное. С первых дней пребывания в академии Людников уделял особое внимание изучению трудов ведущих советских военных теоретиков и специалистов — В. К. Триандафиллова, Б. М. Шапошникова, Д. М. Карбышева, М. Н. Тухачевского и др. Важнейшей частью обучения были регулярные стажировки в войсках. Именно во время таких командировок будущие командиры Красной армии учились мыслить самостоятельно, на практике применять современные оперативно-тактические приемы и методы ведения боевых действий, управлять соединениями в условиях взаимодействия различных родов войск, знакомились с новыми видами отечественных и зарубежных вооружений.

В сентябре 1938 года Людников с отличием окончил Военную академию и получил предложение остаться на преподавательской работе. Но он стремился применить свои знания на практике и вскоре приступил к работе в Генеральном штабе РККА: сначала офицером для поручений 1-го отдела, а с апреля 1939 года — начальником 2-го отделения 13-го отдела. Отчасти его новые обязанности тоже перекликались с вопросами подготовки кадров для среднего и высшего командного звена — оперативных работников штабов дивизий, корпусов, армий.

В ноябре 1939 года Людников стал первым начальником вновь созданного в Киевском особом военном округе Житомирского пехотного училища. Работа училища развертывалась на фоне начавшейся Второй мировой войны, развязанной нацистской Германией. Людникову пришлось руководить переводом училища на ускоренные программы подготовки курсантов. Особое внимание уделялось полевым занятиям и овладению навыками управления боем в современной войне с применением танков и артиллерии.

В начале 1941 года в Киевском особом военном округе, которым командовал генерал-полковник М. П. Кирпонос, шла интенсивная боевая подготовка, происходило перемещение частей, создавались новые соединения. Вся эта деятельность была направлена на повышение боеготовности войск в условиях нарастающей угрозы для нашей страны на западном направлении. Весной 1941 года среди командного состава Красной армии росло понимание неизбежности войны с Германией. И чем ближе к середине года, тем больше становилось примет надвигающейся войны.

Десятого марта 1941 года Людников был вызван к начальнику штаба Киевского особого военного округа генерал-лейтенанту М. А. Пуркаеву. Неожиданно для себя Людников получил приказ о назначении командиром 200-й стрелковой дивизии. Особенностью этого назначения было то, что дивизии как таковой еще не существовало: ее только предстояло сформировать, причем в сжатые сроки. Спустя десять дней Людников прибыл в приграничный город Ковель и приступил к новым обязанностям.