В ноябре 1909 года, когда Ивану Терентьевичу шел 22-й год, его призвали на службу в царскую армию. Более трех лет он тянул солдатскую лямку в Кексгольмском полку, расквартированном в Варшаве. После демобилизации в апреле 1913 года Голяков вернулся в родное село, где снова занялся сельским хозяйством. Однако ему недолго пришлось трудиться на крестьянской ниве. Началась Первая мировая война, и он был призван под царские знамена. Голяков провел в окопах почти четыре года, с июля 1914 по март 1918, сполна испытав на себе все военные тяготы и выслужив чин унтер-офицера. Война, по его словам, явилась «суровой школой», которая только укрепила в нем «враждебные царизму убеждения». Он с радостью воспринял известие о Февральской революции в Петрограде. На первом же армейском собрании выступил с пламенной речью против империалистической бойни и с критикой рухнувшего режима. Солдаты избрали красноречивого оратора членом ротного, затем полкового и, наконец, в апреле 1917 года — армейского Совета солдатских депутатов. Познакомившись с Апрельскими тезисами В. И. Ленина, напечатанными в «Правде», И. Т. Голяков стал преданным сторонником большевиков и с тех пор неизменно поддерживал их.
В марте 1918 года Голяков, больной и разбитый, вернулся на родину. Некоторое время он работал в местном кооперативе (был заведующим сельпо), но затем вихрь революции захватил его полностью и понес по жизни. В декабре 1918 года он вступает в партию и фактически создает партийную ячейку на селе, активно участвует в организации комитета бедноты и сам возглавляет его в Обольяновской волости. Затем он становится секретарем и председателем Обольяновского исполнительного комитета. На советской работе он пробыл до мая 1919 года, после чего добровольно вступил в ряды Красной Армии. С этого времени вплоть до февраля 1938 года его жизнь была тесно связана с армией и военной юстицией. За 19 лет службы он прошел путь от красноармейца до диввоенюриста и члена военной коллегии Верховного суда Союза ССР.
Голяков начинал служить рядовым в частях 9-й армии Юго-Восточного фронта, в составе которых участвовал в боях с белогвардейцами под городом Балашов Саратовской губернии. После этого некоторое время был политработником, а в июле 1919 года командование направило его в распоряжение политотдела армии. Там Голякова рекомендовали на должность комиссара в один из полков 23-й стрелковой дивизии, но до места назначения он не добрался, так как полк, в котором предстояло служить, почти всем составом попал в плен. Несостоявшегося комиссара направили в распоряжение председателя революционного военного трибунала армии. Последний, испытывая острую нехватку толковых людей, сразу же определил молодого и еще неопытного бойца на должность председателя Революционного военного трибунала 14-й стрелковой дивизии 9-й армии. 13 июля 1919 года Иван Терентьевич приступил к исполнению этой должности. Конечно, главным и определяющим в этом назначении (помимо дефицита кадров) было то, что уже тогда Голяков, несмотря на имевшееся у него за плечами лишь начальное образование, был исключительно начитанным, грамотным и целеустремленным человеком. В декабре 1920 года талантливого и инициативного молодого офицера выдвинули на еще более высокий пост — заместителем председателя военного трибунала войск Донской области (г. Новочеркасск). В январе 1921 года он возглавил этот трибунал. В августе 1921 года трибунал расформировали и Голякова направили в Ростов-на-Дону, где он получил должность члена коллегии военного трибунала Северо-Кавказского военного округа.
К этому времени Иван Терентьевич был уже женат на 20-летней Анне Ильиничне, урожденной Сизовой. В мае 1921 года у них родился сын Владимир.
За годы работы в военном трибунале Голяков приобрел определенный практический навык. Он много и упорно занимался самообразованием, однако чувствовал, что ему не хватает специальных знаний. Поэтому в 1922 году, с разрешения командования, без отрыва от основной работы, он стал посещать занятия на правовом отделении факультета общественных наук Северо-Кавказского университета. Учебу он успешно завершил в 1925 году, получив диплом по специальности криминалистика.
В Ростове-на-Дону Голяков прослужил четыре года. Потом он был выдвинут на должность заместителя председателя военного трибунала Западного и Белорусского военного округа и переехал в Смоленск. А еще через шесть лет, в сентябре 1931 года, — возглавил трибунал. К этому времени семья его увеличилась — в мае 1927 года родилась дочь Мария.
В 1931 году Иван Терентьевич успешно выдержал испытания на звание командира Рабоче-Крестьянской Красной Армии, и тогда же в Москве окончил курсы усовершенствования высшего начсостава РККА. За работу и общественную деятельность он не раз поощрялся командованием: награждался золотыми часами от Реввоенсовета Белорусского военного округа (май 1933 года) и от Реввоенсовета Союза ССР (декабрь 1933 года).
В марте 1933 года И. Т. Голяков становится членом военной коллегии Верховного суда СССР. В этой должности Иван Терентьевич прослужил почти пять лет. В январе 1936 года ему было присвоено воинское звание диввоенюриста.
Занимая столь высокий пост в течение длительного времени, И. Т. Голяков, естественно, был причастен и к тем репрессиям, которые проводила военная коллегия Верховного суда СССР в годы сталинизма. Через его руки прошло множество политических и уголовных дел. Приговоры выносились в духе того времени, особенно в отношении так называемых «контрреволюционеров» и «врагов народа», к которым причислить можно было фактически любого.
31 января 1938 года Прокурор Союза ССР А. Я. Вышинский подписал приказ о назначении Ивана Терентьевича Голякова Прокурором РСФСР. В этой должности он пробыл недолго — всего два с половиной месяца, не успев даже в сущности как следует вникнуть в дела и познакомиться с новой для него прокурорской системой. По этой причине он, конечно, ничем не сумел проявить себя на прокурорском поприще. Все, что он успел сделать, — это провести некоторые плановые мероприятия, подготовленные аппаратом, да подписать десяток-другой приказов и указаний.
14 апреля 1938 года Вышинский освободил И. Т. Голякова от обязанностей Прокурора РСФСР «ввиду перехода на другую работу». Исполнение обязанностей прокурора республики он возложил на В. А. Малюнова, бывшего тогда прокурором Московской области. Однако уже на следующий день Вышинский издал новый приказ (за тем же номером), согласно которому исполнение обязанностей Прокурора РСФСР возлагалось на помощника Главного военного прокурора бригвоенюриста М. И. Панкратьева. Что же касается В. А. Малюнова, то он был вообще снят с работы, а вскоре после этого арестован органами НКВД, осужден и расстрелян.
15 апреля 1938 года Голяков сдал все дела по прокуратуре республики Панкратьеву. На этом его прокурорская деятельность и закончилась.
И. Т. Голякову предстояло на долгие годы стать главным судьей страны. С мая 1938 года он исполнял обязанности Председателя Верховного суда СССР. Тогда же он был избран членом Свердловского райкома партии, а в июне — депутатом Верховного Совета РСФСР от Сухинического избирательного округа. На очередной сессии Верховного Совета РСФСР (июль 1938 года) Голяков становится председателем комиссии законодательных предположений.
В августе 1938 года состоялась 2-я сессия Верховного Совета СССР. И. Т. Голяков выступил на ней с речью при обсуждении доклада наркома юстиции СССР Рычкова и содоклада члена комиссии законодательных предположений Совета Союза Шагимарданова «О проекте Положения о судоустройстве СССР, союзных и автономных республик». После обычных для того времени рассуждений о преимуществах советской судебной системы перед капиталистической он кратко остановился на основных «вехах» работы Верховного суда СССР, заклеймил «врагов», пробравшихся в органы юстиции и в конце воспел дифирамбы в адрес «лучшего соратника товарища Сталина» В. М. Молотова и самого «великого Сталина».
17 августа 1938 года Иван Терентьевич Голяков был утвержден Председателем Верховного суда СССР.
