На этом этапе выявились две противоположные тенденции внутри партийного руководства. Сталин и его сторонники хотели дать полную свободу ОГПУ в борьбе против сил контрреволюции, другие хотели восстановить «социалистическую законность». Некоторое время Сталин считал неразумным открыто выступать против этой тенденции. В мае 1933 года он согласился распространить документ, содержащий секретные «инструкции», осуждающие массовые репрессии на селе. Месяц спустя была создана прокуратура СССР, с тем чтобы ограничить власть ОГПУ.

Оппозиция Сталину вновь активизировалась во время ХVII съезда партии в начале 1934 года. Сегодня точно установлено, что во время выборов в Центральный Комитет Сталин набрал почти на 300 голосов меньше, чем Киров. Однако партийная оппозиция Сталину была настолько слабой, что подавляющее большинство населения России даже не знало о ее существовании, и сегодня остается лишь догадываться об истинных масштабах этой оппозиции.

Одновременно с этим нарастал культ Сталина, который в 1934 году мог уже заглушить любую оппозицию. И хотя Сталин не полностью контролировал партию, он все больше концентрировал в своих руках власть над репрессивным аппаратом. В мае 1934 года разбитый болезнью Менжинский умер, и на его место пришел его первый заместитель Ягода, который уже некоторое время исполнял обязанности председателя ОГПУ. В июле ОГПУ было переименовано в ГУГБ (Главное управление государственной безопасности) и передано в ведение вновь открытого НКВД (Народного комиссариата внутренних дел), во главе которого встал Ягода. С этого момента политическая полиция, регулярная полиция, служба уголовного расследования, пограничные войска, внутренние войска, а с октября 1934 года и вся уголовная система перешли в подчинение одного органа. НКВД стал синонимом политической полиции, хотя формально она была лишь его частью. Вся эта огромная, мощная машина напрямую подчинялась лично Сталину. Через свой личный секретариат, возглавляемый А. Поскребышевым, Сталин имел прямую линию связи с НКВД. По словам Александра Орлова, бывшего сотрудника НКВД, бежавшего на Запад, Поскребышев и Георгий Маленков возглавляли «малый совет», который оценивал всю поступающую в Политбюро разведывательную информацию. Из секретариата Сталина вышел и его протеже Николай Ежов, который в 1936 году сменил Ягоду на посту председателя НКВД и возглавил «Великий Террор».

Убийство Кирова, главного потенциального противника Сталина, привело к еще большему усилению власти НКВД. 1 декабря 1934 года Киров был убит выстрелом сзади, когда он выходил из своего кабинета в центральном здании партийной организации Ленинграда. У убийцы Кирова, Леонида Николаева, считавшего себя последователем «народников», совершивших покушения на царя Александра II, были явные психические отклонения. Необходимо отметить, что незадолго до покушения Николаев был дважды задержан охранниками Кирова, но оба раза отпущен по распоряжению ленинградского НКВД, несмотря на то, что в его портфеле находили заряженный револьвер. Полвека спустя ни один из сотрудников КГБ, с кем Гордиевский обсуждал покушение на Кирова, не сомневался в том, что лично Сталин отдал приказ убить Кирова. Многие считают, что Сталин решил не посвящать в это дело Ягоду, которому не полностью доверял, и действовал через начальника ленинградского НКВД Филиппа Медведя и его заместителя И. Запорожца. Впоследствии Хрущев, по-видимому, ошибочно решил, что Ягода также принимал в этом участие, получив устный приказ от Сталина. Приехав после убийства Кирова в Ленинград, Сталин продемонстрировал свои выдающиеся актерские способности, сыграв самую впечатляющую роль за всю свою жизнь. Медведь встречал Сталина на вокзале, но вместо приветствия он получил неожиданный удар кулаком, затянутым в перчатку. Прямо с вокзала Сталин, переполненный горем, отправился прощаться с телом Кирова. Официально Медведь и Запорожец были уволены с занимаемых ими постов за преступную халатность, но оба продолжали работать в НКВД на Дальнем Востоке вплоть до 1937 года, когда они были расстреляны во время «Великого Террора», как впоследствии предположил Хрущев, для того, чтобы «замести все следы организаторов убийства Кирова».

После убийства Кирова, в тот же вечер вышла директива, требующая немедленного наказания всех тех, кого подозревали в терроризме, вплоть до смертной казни. По словам Хрущева, эта директива вышла «без одобрения Политбюро», по личной инициативе Сталина. Таким образом, НКВД получил власть над жизнью и смертью советских граждан. На протяжении двадцати лет НКВД определял, кто «террорист», а кто нет. Первыми жертвами НКВД, обвиненными в смерти Кирова, были так называемые заговорщики-белогвардейцы, которые проникли в Россию через границу с Польшей, Финляндией и Латвией. 104 вымышленных заговорщика были схвачены и расстреляны. Через три недели после убийства Кирова был раскрыт еще один несуществующий заговор. 22 декабря 1934 года было объявлено, что Николаев принадлежал к подпольной террористической организации, созданной последователями Зиновьева. Сталин лично составил списки двух групп зиновьевцев, которые получили название «Московский центр» и «Ленинградский центр». Позже было объявлено, что Николаев получил пять тысяч рублей от генерального консула Латвии (впоследствии он был выслан из страны), который якобы обеспечивал связь между зиновьевцами и высланным из страны Троцким. 30 декабря было объявлено о том, что после короткого суда без участия защиты все заговорщики были расстреляны. В январе 1935 года Зиновьев и Каменев стали главными действующими лицами первого политического процесса над бывшими лидерами оппозиции. Оба они согласились с расплывчатыми обвинительными формулировками, указывающими на их политическую ответственность за убийство Кирова, граничащую с подстрекательством. Суд приговорил Зиновьева к десяти, а Каменева к пяти годам тюремного заключения. Несмотря на всю абсурдность этого процесса, советские люди отнеслись к нему вполне серьезно, поскольку к этому времени уже успели привыкнуть к разоблачениям различного рода заговоров и подпольных организаций. После завершения процесса Сталин вызвал к себе Ягоду и сказал ему: «Плохо работаете, Генрих Григорьевич!» Он считал, что Зиновьева и Каменева следовало пытать до тех пор, пока они во всем не признались бы. Ягода был настолько потрясен, что не смог сдержаться и расплакался, когда пересказывал этот разговор своему заместителю Георгию Прокофьеву.