1934 год с точки зрения проведения репрессий был относительно спокойным. Об этом свидетельствует сильное уменьшение числа приговоренных подследственных ОГПУ, которое упало до 79 000 против 240 000 в 1933 году. Политическая полиция была реорганизована. Согласно указу от 10 июля 1934 года ОГПУ стало одним из отделов нового Народного комиссариата внутренних дел, организованного в качестве всесоюзного. Теперь ОГПУ могло бы показаться почти затерянным среди менее опасных отделов, таких как рабоче-крестьянская милиция, пограничники и т. д., тем более что было изменено его название. Называясь теперь Народным комиссариатом внутренних дел или сокращенно НКВД, секретные органы потеряли часть своих юридических привилегий; по окончании следствия дела надо было «передавать в компетентные судебные органы», и они не имели больше возможности «приговаривать к смертной казни» без разрешения центральной политической власти. Создана была также процедура апелляции, а все списки приговоренных к смерти утверждались на Политбюро.

Эти перемены, представленные как «меры по укреплению социалистической законности», имели, однако, весьма ограниченную эффективность. Контроль за ордерами на аресты, подписанными прокуратурой, оказался невозможным, потому что генеральный прокурор Вышинский дал всю полноту власти репрессивным органам. С другой стороны, начиная с сентября 1934 года Политбюро приостановило им же утвержденную недавно процедуру рассмотрения приговоров к высшей мере и разрешило ответственным представителям местной власти не обращаться за утверждением таких приговоров к Москве. Но затишье длилось недолго.

1 декабря 1934 года произошло убийство Сергея Кирова, члена Политбюро и первого секретаря Ленинградской партийной организации. Убийцей оказался молодой экзальтированный коммунист Леонид Николаев, которому удалось с оружием проникнуть в Смольный, где размещались руководящие органы Ленинградской партийной организации.

В последующие годы гипотеза о прямом участии Сталина в убийстве его главного «политического соперника» подтвердилась в разоблачительной речи Хрущева, в его так называемом «закрытом докладе», сделанном в ночь с 24 на 25 февраля 1956 года на XX съезде партии. Однако эта гипотеза недавно была опровергнута в работе Аллы Кириллиной, которая опиралась на неопубликованные архивные данные. Из этого тем не менее не следует, что убийство Кирова не было на руку Сталину и не было им широко использовано в политических целях. Сталин сумел пустить в ход саму идею постоянного наличия заговора — она позволяла поддерживать атмосферу кризиса и напряжения в стране. В любой момент заговор мог стать вполне осязаемым доказательством реального существования обширной конспиративной организации, угрожающей стране, ее правительству и социализму. Отныне всегда под рукой было блестящее объяснение слабостей системы: если что-то было не в порядке в стране, если жизнь трудна — а ведь, согласно Сталину, «жить стало лучше, жить стало веселее», — значит, вина лежит на убийцах Кирова.

Несколько часов спустя после убийства был издан декрет, известный как «Закон от 1 декабря». Эта необычная мера была принята по личному распоряжению Сталина, и только через два дня она была обсуждена на Политбюро, поддержавшем сокращение до десяти дней разбирательство дел террористов, обсуждение дел в отсутствии сторон, также, как немедленное исполнение приговора о смертной казни. Этот закон, отменивший «длительные», растянувшиеся на несколько месяцев, судебные процедуры, должен был стать идеальным инструментом в развязывании Большого террора.

В последовавшие за этим событием недели большое число бывших сталинских оппозиционеров внутри партии были обвинены в террористической деятельности. 22 декабря 1934 года пресса сообщила о «страшном преступлении» подпольной террористической группы, в которую, кроме Николаева, оказывается, входило еще 13 «бывших зиновьевцев», руководимых так называемым Ленинградским центром. Все члены этой группы были осуждены при закрытых дверях и немедленно расстреляны 28 и 29 декабря. 9 января 1935 года открылся процесс мифической «Ленинградской контрреволюционной зиновьевской группы», включающей 77 человек, среди которых были многие известные партийные деятели, оказывавшие сопротивление сталинскому курсу; все они были приговорены к тюремному заключению. Разоблачение «Ленинградского центра» помогло выявить «Московский центр», в который входило 19 человек и лично Зиновьев и Каменев; они были обвинены в «идеологическом соучастии», сопричастности к убийству Кирова и осуждены 16 января 1935 года. Зиновьев и Каменев признали, что «прежняя деятельность оппозиции могла в силу объективных обстоятельств способствовать вырождению этих коммунистов в преступников». Ошеломляющее признание своей «идейной сопричастности», которое прозвучало после стольких раскаяний и публичных отрицаний, должно было представить двух бывших руководителей как искупительную жертву в будущей пародии на правосудие. А пока это им стоило пяти и десяти лет заключения. В общем, за два месяца — с декабря 1934 по февраль 1935 года — в соответствии с новой процедурой, предусмотренной Законом о терроризме от 1 декабря, было осуждено б 500 человек.

На следующий день после приговора Зиновьеву и Каменеву Центральный комитет рассылает во все партийные организации секретное распоряжение, озаглавленное: «Уроки событий, связанных с подлым убийством товарища Кирова». В этом тексте говорилось о существовании заговора, руководимого «двумя зиновьевскими центрами» (…), которые на самом деле «являются замаскированной формой белогвардейской организации», и напоминалось, что история партии была и остается постоянной борьбой с «антипартийными группами» троцкистов, демократических центристов, правых уклонистов, право-левацких уклонистов и т. п. Под подозрение попадают все те, кто когда бы то ни было высказывался против сталинской линии. Охота на бывших оппозиционеров усилилась. В конце января 1935 года 988 сторонников Зиновьева были высланы из Ленинграда в Сибирь. Центральный комитет приказал всем местным партийным организациям составить списки коммунистов, исключенных из партии в 1926–1928 годах за принадлежность к троцкистскому и троцкистко-зиновьевскому блоку. На базе этих списков были потом произведены аресты. В мае 1935 года Сталин разослал в местные партийные инстанции новое письмо Центрального комитета, предписывающее тщательную проверку личного дела каждого коммуниста.

Согласно официальной версии убийство Кирова было совершено преступником, проникшим в Смольный с фальшивым партийным билетом, что определяло крайнюю необходимость и «огромную политическую важность» кампании по обмену партийных билетов. Кампания эта длилась более шести месяцев при участии НКВД, ибо оно доставляло в партийные инстанции дела «сомнительных» коммунистов, а партийные организации в свою очередь сообщали НКВД данные об исключенных из партии во время кампаний по обмену партбилетов. В ходе этой кампании из партии было исключено 9 % членов, что составляет 250 000 человек. Согласно данным, доложенным на пленуме Центрального комитета, собранном в декабре 1935 года начальником центрального отдела кадров Николаем Ежовым, отвечавшим за данную операцию, 15 218 исключенных из партии «врагов» были арестованы в ходе этой кампании. Но эта чистка, по мнению Ежова, разворачивалась не так, как следовало бы. Она длилась в три раза дольше, чем это было запланировано, и «проходила вяло, на грани саботажа» из-за большого числа устроившихся в аппарате бюрократических элементов. Несмотря на неоднократные призывы центральных властей разоблачать троцкистов и зиновьевцев, только 3 % исключенных принадлежали к этой категории. Местные партийные руководители не слишком охотно шли на контакт с органами НКВД и не так быстро давали центру свои списки людей, которых необходимо выслать по административным соображениям. Короче говоря, Ежов в ходе кампании по обмену партийных билетов установил, что «круговая порука» местных органов партии препятствует эффективному контролю со стороны центральных властей над тем, что реально происходит в стране. Это был очень важный урок, о котором Сталин потом вспомнит.