Огромную роль в возвышении Ягоды сыграла его активность в борьбе с троцкистами. Следует учитывать, что влияние троцкистской оппозиции в ОГПУ было довольно заметным. А.М. Плеханов утверждает, что по подсчетам председателя ОГПУ, во время дискуссии 1923–1924 гг. в аппарате ОГПУ из 551 членов РКП (б) на стороне ЦК были 367 человек, 40 однозначно на стороне троцкистов и еще 129 «колебались».

Это, конечно, приукрашенная картина. В действительности, если верить мемуарам, то в разных парторганизациях ОГПУ сторонников Троцкого было до половины. Очень выразителен рассказ Ф.Д. Медведя о дискуссии в Москве. По его словам, троцкисты первоначально вообще добились большинства, «Дзержинскому и другим членам коллегии вообще говорить не давали. Требовали немедленно ввести внутрипартийную демократию, разогнать партийный аппарат. «Долой бюрократов, долой аппаратчиков», – сплошь и рядом кричала ячейка. Пришлось прекратить собрание и перенести на следующий день. Ну, а на следующий день были приняты меры. Во-первых, срочно по прямому проводу вызвали из Ленинграда Зиновьева, затем Феликс особо заядлых крикунов частью изолировал, частью отправил в срочные командировки. На следующий вечер собрание открылось речью Зиновьева. Этот и начал. Говорил четыре часа подряд. Все обалдели, слушая его. Голоснули – и что же? Несмотря на принятые меры, ничтожным большинством прошла резолюция ЦК».

Причины популярности Троцкого среди чекистов очевидны. Многих раздражало отсутствие внутрипартийной демократии. «Где у нас равенство в единой коммунистической партии? На бумаге, в уставе партии. А на самом деле, верхи и низы. Начальники и подчиненные. Верхи обросли на теплых местах и тянут к себе родственников, подхалимов, бюрократов. Везде и повсюду круговая порука. Рука руку моет. Только внутрипартийная демократия даст возможность проявить все недочеты нашей партии и избавиться от них».

Кроме того, в условиях перехода к новой экономической политике материальное положение сотрудников ОГПУ резко ухудшилось. Из органов и войск ОГПУ начался массовый уход, основной причиной которого стала скудная зарплата и ее несвоевременная выплата. Катастрофическую ситуацию описывал председатель ГПУ Украины Манцев: денежное довольствие и продпаек мизерны, чекисты живут за счет продажи на рынке своих вещей, находятся «в состоянии перманентного голода. На этой почве происходит общее понижение работоспособности, настроение сотрудников озлобленное, дисциплина падает… зарегистрирован ряд случаев самоубийств на почве голода и крайнего истощения». Манцев утверждал, что лично получает письма сотрудниц, которые сообщают, что вынуждены заниматься проституцией, чтобы не умереть с голоду, арестованы «за грабежи и налеты десятки, если не сотни сотрудников, и во всех случаях установлено, что идут на разбой из-за систематической голодовки. Бегство из чека повальное…».

Дзержинский, в силу своих возможностей, пытался исправить ситуацию. Манцев ставил вопрос ребром: «Если чека не нужна, то об этом надо сказать прямо и твердо. И мы соответствующим образом будем тогда поступать». На этот вопрос нужно было найти ответ, и Ягода, «хороший организатор и хозяйственник», был незаменим в этой роли. Сам Ягода получил возможность выступить в роли «защитника чекистов и благодетеля».

Кроме того, следует учитывать, что в троцкистской оппозиции принимали участие многие бывшие чекисты. Например, Иван Петрович Бакаев служил в ВЧК (сначала Петрограда, затем Юго-Востока) в 1919–1921 гг., Котэ Цинцадзе руководил Грузинской ЧК в 1921–1922 гг., Яков Абрамович Лившиц был председателем Киевской ЧК(1920–1921), а затем был заместителем председателя ГПУ УССР, начальником Секретно-оперативной части ГПУ УССР. Конечно, к 1927 г. они ушли из ОГПУ, но связи, видимо, оставались, и несмотря на принятые меры, влияние троцкистов в ОГПУ оставалось заметным. А.М.Плеханов справедливо считает, что написанная в 1927 году «Современная баллада» точно отражает настроение в органах:

Не позже 1927 года ОГПУ перешло к активным арестам троцкистов. Ягода, видимо, действительно был близок к правым (Рыкову, Бухарину, Томскому, Угланову), что было особенно заметно в конце 1920-х. Сам Ягода признает, что был близок к правым по «идейным мотивам», кроме того, он мог считать, что со временем правые победят. В 1928 – начале 1929 гг. он несколько раз встречался с лидерами правых на даче Томского.

Всем старым членам ЦК было хорошо известно, что в июле 1928 года между оппозиционером Л. Каменевым и Н. Бухариным произошел разговор, в котором правые пытались договориться с троцкистско-зиновьевской оппозицией о совместной борьбе против Сталина. В ходе этого разговора Бухарин якобы заявил: «Наши потенциальные силы огромны. Рыков, Томский, Угланов абсолютно наши сторонники. Я пытаюсь оторвать от Сталина других членов Политбюро, но пока получается плохо. Орджоникидзе не рыцарь. Ходил ко мне и ругательски ругал Сталина, а в решающий момент предал. Ворошилов с Калининым тоже изменили нам в последний момент. Я думаю, что Сталин держит их какими-то особыми цепями. Оргбюро ЦК ВКП(б) наше. Руководители ОГПУ Ягода и Трилиссер – тоже. Андреев тоже за нас». Упомянутый в разговоре, Меер Абрамович Трилиссер, руководитель иностранного отдела ОГПУ, пришел в центральный аппарат только в 1922 году, но благодаря уму и организаторским способностям быстро сделал карьеру. В 1928 году он стал заместителем председателя ОГПУ и уполномоченным ОГПУ при СНК СССР.

Информация об этом разговоре была опубликована зимой 1929 г., а 6 февраля 1929 г. Менжинский, Ягода, и Трилиссер официально заявили, что считают ее ложью и клеветой. Но поверил ли Сталин им? По крайней мере, «неприятный осадок остался».

Вслед за этим в ОГПУ разгорелся скандал вокруг банальных попоек руководства ОГПУ. Как можно понять, эта история привела к острому конфликту между Трилиссером и Ягодой. Трилиссер обвинял Ягоду в сочувствии правым и говорил о необходимости самокритики в органах. Это вызвало решительное осуждение со стороны Сталина. 16 сентября 1929 года вождь писал Менжинскому письмо: «Прежде всего, как Ваше здоровье? А потом – два слова о делах чекистских. Дело в том, что считаю нужным предупредить Вас о некоторых болезненных явлениях в организациях ГПУ, о которых рассказал мне на днях Реденс. Оказывается у вас (у чекистов) взят теперь курс на развернутую самокритику внутри ГПУ. Иначе говоря, чекисты допускают те же ошибки, которые были допущены недавно в военведе. Если же верно, то это грозит разложением ГПУ и развалом чекистской дисциплины. Не забудьте, что ГПУ – не менее военная организация, чем военвед. Нельзя ли проверить это дело и если оно подтвердится, принять решительные меры против этого зла».

27 октября 1929 года решением Политбюро ЦК ВКП(б) начальник Иностранного отдела ОГПУ Меер Абрамович Трилиссер был освобожден от занимаемой должности. Почему Сталин встал на сторону Ягоды и не поддержал Трилиссера? Было ли дело только в «самокритике»? Возможно, что не менее важную роль сыграл арест Якова Блюмкина.

Дело в том, что весной 1929 убийца Мирбаха был одним из организаторов и резидентов советской разведки. Бывший троцкист Блюмкин установил контакты с Троцким в Константинополе и выразил готовность выполнять поручения высланного вождя в СССР. Ситуация была сложная: в Москве шла борьба с правыми, многие бывшие троцкисты возвращались в партию, считая, что Сталин «понял правоту левой оппозиции». Троцкий говорил, что в «трудные часы Сталину придется призвать» оппозиционеров против натиска правых, как «Церетели призвал большевиков против Корнилова». Обсуждалась и вероятность падения «группы Сталина» в «ближайшие месяцы», если он не поймет необходимости союза с троцкистами. С этими мыслями Блюмкин в середине августа 1929 г. вернулся в Москву.