В 20-х годах Сталин использовал ОГПУ в качестве своего главного инструмента для подавления крестьянских восстаний. С помощью Красной Армии ОГПУ обеспечило проведение массовой коллективизации крестьянских хозяйств.

10 июля 1934 года в ходе реорганизации правоохранительных органов ОГПУ прекратило свое существование, полностью растворившись в НКВД.

С 1934 по 1953 годы НКВД (аббревиатура, образованная от полного названия: Народный комиссариат внутренних дел) и организации, пришедшие ему на смену (МВД, НКГБ и МГБ), отвечали за обеспечение внутренней безопасности государства и ведение внешней разведки, а также явились инструментом проведения массовых политических репрессий в СССР.

Террор и зверства ЧК, рожденной в дни революции 1917 года (и производных от нее организаций — ГПУ и ОГПУ), бледнеют в сравнении с методами работы НКВД, который по многим признакам держал пальму лидерства среди всех аналогичных карательно-репрессивных организаций, когда-либо создававшихся в истории человечества. Вместе с тем НКВД являлся также службой внешней разведки и контрразведки, которая выведывала секреты у западных держав и карала врагов большевизма, бежавших из СССР за границу. Со временем аппарат НКВД разросся до невероятных размеров, контролируя не только все вопросы обеспечения внутренней безопасности государства и ведения внешней разведки, но и внутренние и пограничные войска, а также различные административные учреждения, в том числе печально знаменитый ГУЛАГ (сеть концентрационных и трудовых лагерей, раскинувшаяся по всей территории Советской империи).

Создание НКВД, возможно, связано с решением Сталина избавиться от Сергея Кирова, одного из вождей большевистской революции, который в 1934 году возглавлял ленинградскую организацию большевиков, являвшуюся весьма влиятельной в советском партийном аппарате.

10 июля 1934 года ОГПУ (Объединенное государственное политическое управление), отвечавшее за госбезопасность и шпионаж, влилось в преобразованный и сильно укрепившийся НКВД. Руководителем НКВД назначили Генриха Ягоду, который к тому времени уже имел репутацию ветерана органов госбезопасности и «красного террора». Британский историк и политолог Роберт Конквест отмечает в своей книге «Великий террор: Сталинские чистки тридцатых годов» («The Great Terror: Stalin’s Purges of Thirties», 1968):

«Новой организации суждено было уже в ближайшие годы продемонстрировать все свои возможности. Эмблема сотрудников НКВД, относившихся к привилегированным слоям советского общества и облеченных большой властью и влиянием, — щит и меч — была поставлена выше серпа и молота, символизировавших Коммунистическую партию. Эти люди не обходили своим вниманием никого, включая членов Политбюро. Над НКВД же был только один человек — верховный политический вождь Сталин».

Днем, 1 декабря 1934 года, в Ленинграде был убит Сергей Киров. Молодой убийца выстрелил ему в спину, когда он шел по темному коридору ленинградского обкома партии, направляясь к своему кабинету. Телохранителя, который был с Кировым неразлучен, на этот раз рядом не оказалось. Убийство, скоре всего, было спланировано Ягодой. Сталин, по-видимому, не нашел другого способа найти выход из сложной политической ситуации кроме как физически устранить своего главного соперника, а затем под предлогом расследование преступления сокрушить политическую оппозицию, существовавшую в стране на тот момент.

НКВД под руководством Ягоды тут же начал следствие, пошли аресты. Убийца и еще 116 человек, обвиненных в причастности к заговору, были расстреляны. Таким образом, Сталин избавился от своих прямых оппонентов.

Тем временем Ягода реорганизовывал и укреплял подчиненный ему аппарат НКВД. Сотрудники НКВД — за цвет головных уборов и петлиц на мундирах их прозвали «синими фуражками» — быстро превратились в элиту советского общества. Конквест в связи с этим пишет:

«Их считали одними из основных представителей нового привилегированного социального слоя, народившегося в результате сталинской антиэгалитарной политики. Была принята новая, более претенциозная форма одежды. Сотрудников НКВД учили хорошим манерам. Многие из них женились на красивых образованных девушках из достойных семейств, которые занимают свою почетную социальную нишу при любом государственном устройстве. Родственные узы с работниками НКВД к тому же обеспечивали таким семьям дополнительную безопасность. Дети сотрудников НКВД посещали специализированные школы, по окончании которых, как правило, шли по стопам своих высокопоставленных отцов».

Для себя Ягода выбрал громкий титул главного комиссара госбезопасности (ранг, эквивалентный званию Маршала Советского Союза) и повелел сшить соответствующий парадный мундир. Но этот человек, фактически создавший организацию, не дожил до дней ее истинного расцвета. Николай Ежов, председатель комиссии партийного контроля, курировавшей НКВД, постепенно стал все больше распространять свою власть на это ведомство. В результате 30 сентября 1936 года Ягода был смещен со своего поста, и новым шефом НКВД назначили Ежова. А 18 марта 1937 года на коллегии НКВД в штаб-квартире этой организации на Лубянке Ежов официально объявил Ягоду врагом народа (того показательно судили и приговорили к расстрелу).

После этого пошли повальные аресты высокопоставленных работников НКВД по всей стране. Их брали днем и ночью, дома, на работе, а то и по дороге домой или на работу. Некоторые, не дожидаясь ареста, совершали самоубийства (пулю в висок или прыжок из окна), рассчитывая тем самым уберечь от расправы членов своих семей. В общей сложности, по некоторым данным, в 1937 году погибло более 3000 бывших коллег и подчиненных Ягоды.

Тем временем в стране были, развязаны массовые репрессии. Первыми жертвами стали советские военачальники, потенциальные оппоненты Сталина. 11 июня 1937 года было объявлено, что восемь человек из числа высших командиров Красной Армии арестованы и им предъявлено обвинение в измене. На следующий день все они были расстреляны. Еще один командир, также обвиненный в участии в заговоре, совершил самоубийство. После этого прокатилась волна новых арестов среди военнослужащих, которых отправляли в подвалы Лубянки, в дом № 11 по улице Дзержинского, в камеры смертников вместительной Лефортовской тюрьмы и в десятки других тюремных учреждений: НКВД по всей стране. Всего было расстреляно 3 из 5 маршалов, 14 из 16 командиров, 60 из 67 комкоров, 136 из 199 комдивов, 221 из 397 комбригов и тысячи других офицеров.

Репрессии не обошли стороной и военно-морской флот, несмотря на то что партийный надзор за этим видом вооруженных сил не ослабевал со времени Кронштадтского мятежа 1921 года. Все восемь «флагманов» (адмиралов) были расстреляны, как и тысячи других моряков. В августе 1938 года главным комиссаром флота был назначен М. П. Фриновский, бывший заместитель руководителя НКВД. Номинально он возглавлял ВМФ СССР до марта 1939 года.

НКВД развязал по всей стране настоящий террор. Партийные и государственные деятели на местах арестовывались прямо на улицах, их вытаскивали по ночам из постели. Тяжелый удар пришелся по интеллигенции. Повсюду проходили судебные процессы над писателями, учеными, артистами, инженерами, учителями. Никто не был застрахован от того, чтобы однажды не оказаться в «черном вороне», тюремном фургоне, на которых разъезжали команды НКВД.

Вскоре Сталин, похоже, устал от этих бесконечных чисток, а возможно, осознал, что если так продолжать и дальше, то можно вконец подорвать советскую общественную, промышленную и военную систему. Власть Ежова стала таять на глазах. Начались разговоры о многочисленных злоупотреблениях во время допросов арестованных. Ходили слухи о том, что Ежов лично расстрелял нескольких крупных военачальников. Кончилось все тем, что 8 Декабря 1938 года он был освобожден от руководства НКВД и временно переведен на менее ответственную работу, а в начале 1939 года и вовсе бесследно исчез. В отличие от его предшественника показательного суда над ним не было.