В апреле 1933 года ЦК дал поручение, в том числе и распредотделу во главе с Ежовым провести чистку рядов партии, аналогичную тем, которые были организованы в 1921 и 1929 годах[15]. Все члены партии должны были пройти проверку на предмет того, могут ли они и дальше оставаться в ее рядах, во время чистки прием новых членов не производился. В результате чистки многие были изгнаны из партии[16]. Она происходила до мая 1935 года, а за ней последовали еще две кампании под руководством Ежова, которые длились до сентября 1936 года{121}.[17]

Когда в январе 1934 года открылся XVII съезд партии, Ежов был избран членом секретариата и председателем мандатной комиссии съезда{122}. На съезде он был избран членом ЦК, а по окончании съезда — заместителем председателя комиссии партийного контроля (КПК){123}. Как сообщалось, глава КПК Каганович лично выбрал его на пост заместителя{124}. На пленуме ЦК, созванном после съезда, он стал и членом оргбюро{125}. В марте ему было поручено руководить работой промышленного отдела ЦК, а в декабре он сменил Андрея Жданова на посту председателя Комиссии по командировкам за границу{126}. Его карьерный взлет происходил необычайно быстро, как будто бы Сталин специально выделил его и доверял больше, чем кому-либо еще. С этого же времени Ежов был связан с деятельностью органов государственной безопасности. 20 февраля 1934 года он присутствовал на заседании Политбюро{127}, когда по инициативе Сталина было принято решение о реорганизации ОГПУ и об образовании союзного Народного Комиссариата Внутренних дел (НКВД){128}. Месяц спустя в этой связи Политбюро поручило комиссии под председательством Куйбышева и с участием Ежова подготовить реформу законодательства{129}. Несколько дней спустя Ежов вместе со Сталиным вошел в состав другой комиссии Политбюро под председательством Кагановича и получил задание разработать положение, регулирующее работу НКВД и Особого совещания{130}. В результате 10 июля ОГПУ было упразднено, а его функции перешли вновь организованному НКВД под руководством Генриха Ягоды, заместителями которого стали Я.С. Агранов и Г.Е. Прокофьев. В состав НКВД вошло Главное Управление Государственной Безопасности (ГУГБ) в качестве основного подразделения, а также: ГУЛАГ, Главное управление рабоче-крестьянской милиции и другие подразделения. В отличие от ОГПУ, НКВД не получил права выносить смертные приговоры или приговаривать к лишению свободы или ссылке на срок более пяти лет. В отношении лиц «признанных социально опасными» сохранившееся при НКВД Особое совещание (ОСО) имело право выносить приговор до пяти лет (с апреля 1937 года — до восьми лет) ссылки или лагеря. Право вынесения более суровых приговоров по делам об «измене Родине», шпионаже, терроре и другим вариациям 58 статьи Уголовного кодекса РСФСР было делегировано судам (Военной Коллегии Верховного Суда, военным трибуналам, спецколлегиям судов){131}. В мае 1935 года внесудебные полномочия, аналогичные ОСО НКВД, появились и у региональных органов НКВД. Был выпущен приказ об организации троек при НКВД республик и УНКВД краев и областей{132}. Это были так называемые «милицейские тройки», возглавляемые начальниками милиции. В основном они рассматривали дела о нарушении паспортного режима и бродяжничестве. 

Как и прежде, здоровье Ежова оставалось плохим. Однако теперь его положение стало столь высоким, что он получил право лечения за границей. Решением Политбюро от 28 мая 1934 года Ежову был предоставлен отпуск (с 1 июня) на 2 месяца, а место отдыха было предложено определить Кагановичу и самому Ежову{133}. Ежов отправился отдыхать в Нальчик. Но его здоровье настолько пошатнулось, что вызвало тревогу кремлевских врачей. Два профессора по просьбе Лечсанупра Кремля обследовали Ежова и вынесли заключение «о резком ухудшении состояния его здоровья», повышении температуры, обострении заболевания и общем истощении нервной системы. Было рекомендовано «провести специальный курс лечения в заграничном санатории». 5 июля начальник Лечсанупра информировал об этом Жданова. Политбюро дважды рассматривало вопрос об отдыхе Ежова. Сначала 11 июля было решено направить его за границу с выдачей 1200 рублей в валюте. Но этого было явно мало для хорошего лечения. И 15 июля начальник Лечсанупра Кремля направил, теперь уже всем членам Политбюро, более подробное описание недугов Ежова. В письме говорилось, что он «страдает резко выраженным общим упадком питания с прогрессирующим падением веса, общей слабостью и понижением работоспособности, раздражением нервной системы, катаром желудочно-кишечного тракта, хроническим поражением кожи (чешуйчатый лишай) и хроническим неактивным процессом в легких и бронхиальных железах с постоянной субфебрильной температурой. Все явления усилились в последнее время в результате очень большого переутомления». Далее говорилось о необходимости полного отдыха сроком на 3 месяца, а для начала курса лечения провести некоторое время в клинике Карла фон Ноордена в Вене, а затем курортное лечение на 3 недели (Франценсбад в Чехословакии или Бад-Гаштейн), после чего предлагалось «санаторно-климатическое лечение в очень хороших климатических условиях на умеренной горной высоте (лучше всего Меран в Тироле)». В числе подписавших заключение лечащих Ежова врачей стояла и подпись доктора Левина. В этом же письме говорилось о недостаточности выделенных для лечения средств.

На здоровье столь нужного ему в будущем Ежова Сталин решил не экономить, и наложил на письмо Лечсанупра резолюцию: «Отпустить т. Ежова с женой, дать им пока что 3000 рублей золотом под отчет. Отправить немедля. Срок отпуска три месяца. И. Сталин». Политбюро дружно проголосовало за это предложение и 17 июля 1934 года оно было принято{134}.

В Москве интересовались ходом лечения Ежова. Начальник Лечсанупра Кремля 25 августа сообщил Кагановичу о том, как обстоят дела. К тому времени Ежов с женой уже находились в Бад-Гаштейне и принимали предписанные Ноорденом радиоактивные ванны и уколы. Их навестил поверенный в делах СССР в Австрии Некунде — проведать и сообщить в Москву новости. Некунде писал, что ванны Ежову помогают: «Появился на редкость большой аппетит, соблюдает строгую диету, но по обыкновению чересчур много курит. Лишаевидные места на локтях и ногах почти совершенно исчезли». Бад-Гаштейн Ежов должен был оставить 25 августа и отправиться в клинику к Ноордену, а затем, вероятно, в Италию на «нахкур», — как писал Некунде, — и тут же с тревогой сообщал, что сам Ежов «начинает поговаривать об отъезде домой на работу». Для поездки в Италию требовались еще деньги, и Политбюро, вняв тревогам Некунде, 26 августа приняло решение: «Выдать т. Ежову Н.И. дополнительно 1000 рублей золотом для окончания лечения. Запретить т. Ежову выезд в СССР до окончания отпуска»{135}.