После репрессивных мер в отношении оппозиционеров всех мастей и оттенков, после разгрома инженерно-технической интеллигенции и осуждения священнослужителей Ягода со своей командой принялся за бывших офицеров, перешедших в своё время на сторону революции. В этом он находил поддержку у Будённого и Ворошилова. Основное обвинение в адрес бывших офицеров состояло в том, что они якобы тесно связаны с интеллигенцией. На компрометацию красных офицеров были нацелены контрразведывательные отделы военных округов и их структурные подразделения. В большинстве случаев компрометирующие материалы не носили криминального характера, а свидетельствовали о моральном разложении офицерства — увлечении преферансом, женщинами, вечеринками, использовании служебного положения для обогащения и т. д. Однако инициатива Ягоды в этом направлении не у всех находила поддержку. Против массовой чистки РККА от бывших офицеров по бытовым мотивам, против беззаконных увольнений выступил начальник контрразведывательного отдела ОГПУ Ян Калистович Ольский (Куликовский). Под его руководством начиная с 1925 года проводились многие известные операции, в том числе и «Трест».
Генрих Ягода давно искал повод для устранения Ольского с занимаемого поста. На эту ключевую должность в ОГПУ Ягода уже подобрал кандидатуру, лично ему преданную.
Увольнение красных офицеров сопровождалось нередко арестами. Не обошёл этот процесс и Центральное управление конвойных войск СССР, где также был раскрыт «заговор». В числе репрессированных оказался и бывший первый начальник Московской конвойной команды К.Ф. Кропачев, осуждённый в 1931 году на пять лет лагерей.
Рвение Ягоды на ниве борьбы с инакомыслящими не оставалось незамеченным. В 1930 году его одаривают вторым орденом Красного Знамени. Ягода становится значимой фигурой, и многие репрессированные непосредственно к нему обращаются за помощью. Однако Ягода прекрасно понимает: нельзя одной рукой и сажать, и миловать. Он и не собирался «входить в положение репрессированных», и потому обращения к нему остаются без ответа. Нужные люди находят у него не только защиту, но и покровительство.
В стране всё заметнее ощущалась сила Ягоды, вскоре почувствовали её и заключённые. Не считаясь с законодательством, заместитель председателя ОГПУ Ягода и заместитель Прокурора СССР Катаньян своим указанием предоставили право начальнику Беломоро-Балтийского ИТЛ и его заместителю продлевать на три месяца срок заключённым, допускающим нарушения установленного порядка, без следствия и суда. Окончание строительства канала ознаменовалось раздачей орденов большой группе руководителей, инженеров и передовиков. За строительство этого грандиозного сооружения у Ягоды прибавился орден Ленина.
Ягода и его подручные являются главными виновниками насильственной коллективизации, сопровождавшейся беззаконием и произволом. В этом они находили поддержку у бывших комиссаров войсковых соединений времён Гражданской войны, перебравшихся к тому времени в кресла секретарей обкомов и ЦК компартий республик. Методы проведения коллективизации в различных регионах ничем не отличались.
Для СССР 1932 год оказался крайне трудным. Быстрыми темпами росло число жителей в городах. Обострение обстановки на Дальнем Востоке в 1931–1932 годах, опасность войны со стороны Японии и других стран потребовали создания для Красной армии неприкосновенных запасов продовольствия. На ухудшении снабжения населения продуктами питания сказалась необходимость увеличения посевов технических культур для нужд промышленности. Резкое снижение цен на сельскохозяйственную продукцию на мировом рынке потребовало увеличения поставок в счёт уплаты за заказанное оборудование для промышленных предприятий в интересах индустриализации. Обосновывая введение указа ЦИК СССР от 7 августа 1932 года, И.В. Сталин говорил: «Если капитализм провозгласил частную собственность священной и неприкосновенной, добившись в своё время укрепления капиталистического строя, то мы, коммунисты, тем более должны провозгласить общественную собственность священной и неприкосновенной, чтобы закрепить тем самым новые, социалистические формы хозяйства».
В 1932 году получили широкое распространение массовые хищения колхозного и совхозного имущества, всех видов социалистической собственности. Отсюда — усиление репрессивных мер против всякого рода расхитителей.
Оценив складывающуюся обстановку в деревне, ЦК ВКП(б) и СНК СССР 8 мая 1933 года приняли постановление «О прекращении массовых выселений крестьян», подписанное председателем Совета Народных Комиссаров В.М. Молотовым и секретарём ЦК ВКП(б) И.В. Сталиным. Однако руководство ОГПУ его игнорировало, и потому только спустя год и пять месяцев была подписана Ягодой секретная инструкция, адресованная всем партийно-советским работникам и всем органам ОГПУ, суда и прокуратуры от 27 октября 1934 года. Новый нарком ОГПУ Г.Г. Ягода добился оставления за собой права производить аресты без санкции прокуроров в отношении лиц, обвиняемых в террористических актах, взрывах, поджогах, шпионаже, нарушении границы, политическом бандитизме, а также — членов антипартийных группировок. Одновременно было принято решение сократить количество арестованных и осуждённых в местах лишения свободы с 800 тысяч до 400 тысяч человек. Впредь запрещалось превышать этот предел.
10 мая 1934 года от паралича сердца скончался В.Р. Менжинский. Его должность официально перешла к Ягоде. Спустя два месяца ЦИК СССР принял постановление об образовании Народного комиссариата внутренних дел СССР. Этому предшествовала борьба между ОГПУ и НКВД, НКВД и НКЮ за право распоряжаться судьбами осуждённых. Все эти ведомства почувствовали ощутимую прибыль от эксплуатации труда лишённых свободы, и каждое стремилось только себе подчинить тюремную систему. В результате острого противоборства в конце 20-х годов ОГПУ расследовало преступные проявления, судило, исполняло установленный срок наказания и оно же решало дальнейшую судьбу освобождённых. При таком положении Народный комиссариат юстиции, игравший немаловажную роль в 20-х годах, низводился до положения третьеразрядного наркомата. Но его руководитель Н.В. Крыленко не собирался с этим мириться. В результате острейшей борьбы Народному комиссариату юстиции удалось сформировать свою собственную исправительно-трудовую систему, рассчитанную на содержание уголовных преступников со сроками наказания до трёх лет. Карательный механизм системы НКЮ в точности копировал изобретение ОГПУ СССР.
В результате восстановления НКВД под эгидой этого наркомата оказались Главное управление государственной безопасности, Главное управление лагерей и колоний. Главное управление рабоче-крестьянской милиции. Среди наркоматов того времени это было самое могущественное ведомство во главе с Ягодой. 26 ноября 1935 года в соответствии с постановлением ЦИК и СНК СССР ему было присвоено звание Генерального комиссара государственной безопасности.
В первой половине 30-х годов под руководством Ягоды в лагерях велась «перековка» противников социалистических преобразований. Однако теоретическая установка ОГПУ-НКВД по «перековке» одних категорий заключённых при помощи других не выдержала практической проверки.
Следует указать, что на гулаговском материке только тюрьмы были своего рода оазисом, и заключённые не испытывали таких тягот, как в лагерях. В тюрьмах в основном содержались троцкисты, меньшевики, эсеры, на которых обрушился второй вал репрессий. Не сделавших для себя должных выводов в ссылке теперь изолировали в тюрьмах. Правда, с утра до вечера камеры не закрывались. Заключённые свободно общались между собой. Во дворе росли деревья, в том числе фруктовые, были разбиты клумбы. В их распоряжении находилась библиотека. Они могли в неограниченном количестве получать книги и от родственников. Заключённым разрешалось во дворе тюрьмы играть в волейбол, крокет и другие игры. Они вели частную переписку с товарищами, отбывавшими наказание в других тюрьмах. Однако тюрьмы с их щадящим режимом содержания предназначались только для наиболее видных оппозиционеров. Рангом пониже отправляли в исправительно-трудовые лагеря.
