«Заслуги» Ягоды перед советским обществом заключаются в том, что он явился главным архитектором гулаговской системы: разгромил оппозицию (троцкистов, зиновьевцев, меньшевиков, эсеров и др.); загнал в лагеря и ссылку священнослужителей, русскую интеллигенцию, старый офицерский корпус; жесточайшими мерами провёл насильственную коллективизацию; поголовно выселил из крупных промышленных центров представителей бывших господствующих классов; изолировал в местах лишения свободы деклассированные и не занятые общественно-полезным трудом элементы.

Фактическое падение Ягоды началось с момента организации волны «большого террора», прокатившейся по множеству честных советских граждан.

В сентябре 1936 года на стол И.В. Сталина ложится рапорт военной службы Главного управления государственной безопасности, выходившей на его секретариат и контролировавшейся до этого Поскрёбышевым, Шкирятовым, Аграновым и Ежовым. Из содержания документа просматривалась мягкость Ягоды в применении репрессий по отношению к троцкистам. Вот и получалось, что в одном случае он запоздал на четыре года в борьбе с троцкистско-зиновьевской оппозицией, а в другом — создавал для репрессированных из этой категории «тепличные» условия отбывания наказания. К кампании против Ягоды подключился и Вышинский, обвинявший администрацию мест лишения свободы в либерализме по отношению к осуждённым контрреволюционерам. Вышинский обвинял Ягоду и в массовом нарушении законности, выражавшемся в привлечении граждан к уголовной ответственности за одно лишь сокрытие своего социального происхождения при вступлении в партию и комсомол. Не мог он простить Ягоде и тот факт, что исправительно-трудовая система и органы НКВД были полностью выведены из-под контроля прокуратуры.

30 сентября 1936 года Ягода и Ежов скрепили своими подписями акт о передаче дел. 1 октября 1936 года Н.И. Ежов подписал приказ по НКВД СССР о своём вступлении в исполнение обязанностей народного комиссара внутренних дел Союза ССР. Начался его звёздный час, который продлится только два года. Его появление на Лубянке спровоцировало настоящую панику среди сотрудников Ягоды. В целом 325 чекистов аппарата Ягоды были расстреляны или брошены во внутреннюю тюрьму.

Но не успел Ежов осмотреться на Лубянке, как ему стали формировать команду, в которую вошли М. Берман, М. Фриновский, Заковский, Слуцкий. Они пришли на смену команде Ягоды, в которую входили начальник секретного политического отдела Молчанов, заместитель особоуполномоченного НКВД Бердичевский, заместитель Ягоды Прокофьев, заместитель начальника ГУГБ Сосновский, начальник экономического управления Миронов, начальник секретариата Буланов и др.

Через два месяца после своего назначения Н.И. Ежов проводил совещание с руководящими сотрудниками ГУГБ и ГУЛАГа. Вопрос стоял о наведении порядка в тюрьмах и лагерях. Информация, полученная им из ведомства Вышинского, а также основанная на анализе заявлений и писем заключённых, свидетельствовала о том, что оппозиционеры, особенно троцкисты, пользовались привилегиями по сравнению с другими категориями лиц, изолированных в местах лишения свободы. Об этом свидетельствуют воспоминания самих осуждённых. В частности, Олег Волков пишет, что при Ежове оппозиционеры стали вывозиться из политизоляторов в лагеря. Лагерное начальство на первых порах растерялось: безопасно ли мордовать тех, перед которыми вчера тянулись? Ввело послабление: отдельные бараки, особый стол, освобождение от общих работ. Мне не приходилось, пишет он далее, прежде видеть Розу Соломоновну в таких хлопотах. Она вдохновенно входила во все мелочи, требовала со складов санчасти пружинных кроватей, собственноручно застилала тумбочки крахмальными салфетками. Ещё не все приготовления были завершены, а в освобождённые от нас палаты поступило пополнение: люди в штатском, неостриженные, все больше средних лет, не растерявшие самоуверенности и нисколько не походившие на ссыльных и больных. Мы вскоре узнали, что то были средней руки аппаратчики партийных органов, которых по чьему-то распоряжению прямо с этапа отправили в сангородок — отдохнуть и прийти в себя после тюрьмы до подыскания им подходящей должности в лагерном управлении.

«Советские законы, — говорил Ежов, — одинаковы для всех. Ягода, по всей видимости, не хотел этого понимать и потому устроил для Каменева и Зиновьева из тюрьмы санаторий. Додумался обеды заказывать им из ресторана». Ягода лично всячески противодействовал и отводил карающий меч правосудия от голов этих преступников. Потребовалось два суда над Зиновьевым и три над Каменевым, чтобы они получили по заслугам.

Придя к руководству, Ежов много внимания уделял укреплению органов НКВД. Об этом свидетельствуют документы тех лет. В частности, 28 сентября 1938 года он подписал приказ «О результатах проверки работы рабоче-крестьянской милиции Татарской АССР». В нём констатировалось, что вскрыт ряд вопиющих нарушений и игнорирования приказов и директив НКВД СССР, приведших на практике к развалу работы милиции, засорению кадров, разгулу грабителей, воров и хулиганов. Однако начальник управления Антонов вместо организации борьбы с преступностью занимался очковтирательством. За восемь месяцев 1937 года в Казани было 212 грабежей, а в отчётности показано только 154. В соответствии с приказом были сняты с работы, арестованы и преданы суду начальник Управления милиции и начальник политотдела, а также девять других работников, ряду сотрудников были объявлены взыскания. Приказ заканчивался словами: «Народному комиссару внутренних дел Татарской АССР капитану государственной безопасности т. Михайлову в двухмесячный срок привести милицию Татарской АССР в боеспособное состояние и мне доложить. Ежов».

Дезорганизованная и слабоуправляемая исправительно-трудовая система, по оценке Ежова, нуждалась не только в реорганизации, но и в укреплении режима. Вскоре безрадостные вести повезли по лагерям те, кому по каким-либо причинам удалось вырваться из тюрем, переставших быть политизоляторами, какими они до того числились. По их рассказам, в конце 1936 года в Суздальском, Ярославском, Челябинском, Верхнеуральском политизоляторах, где содержались наиболее важные политические, побывали комиссии. После их посещения тюрьмы стали похожи на корабли перед штормом. Сравнительно вольготная жизнь для их обитателей заканчивалась раз и навсегда.

В местах лишения свободы слухи всегда носят гипертрофированный характер. Каждый передающий информацию стремится внести в неё что-нибудь от себя. Вскоре уже можно было услышать, что по приказу Ежова десятки заключённых были отданы под суд только за то, что осмелились обратиться в поисках справедливости лично к Сталину, Молотову, Ежову, а сотни загремели в одиночные камеры и карцеры. Всезнающие заключённые из числа занятых на работе в учётно-распределительных столах незамедлительно разнесли молву, касающуюся жалоб, отправляемых из лагеря. Отныне все письма, за исключением адресованных прокурорам и содержащих нецензурные выражения, возвращались авторам или уничтожались.

В связи с введением нового режима в тюрьмах ГУГБ и следственных изоляторах были усилены меры наказания к «хулиганствующим заключённым». За оскорбительные словесные или письменные заявления заключённых, оскорбительные выходки (плевки, ругательства, попытки нанести оскорбления действием) предусматривался перевод в более строгую тюрьму, применение более строгого тюремного режима, заключение в карцер до 20 суток, предание суду. Так, в приказе от 8 февраля 1937 года Ежов предписывал предать суду целый список содержавшихся в тюрьмах ГУГБ осуждённых на разные сроки заключённых, приславших ему в связи с введением нового тюремного режима оскорбительные заявления.

Внесудебные репрессии второй половины 30-х годов сочетались с жёстким уголовным законодательством, и, как следствие этого, широко применялось наказание в виде лишения свободы. При Ежове было значительно упрощено производство по делам о контрреволюционных преступлениях на основании постановления ЦИК СССР от 14 сентября 1937 года «О внесении изменений в действующее уголовно-процессуальное законодательство союзных республик». Вслед за этим постановлением ЦИК СССР от 2 октября 1937 года повысились максимальные пределы наказания в виде лишения свободы от 10 до 25 лет за шпионаж, террор, диверсии.