Впервые Сталин использовал ОГПУ для укрепления собственной власти внутри Коммунистической партии. Подобно ЧК, ОГПУ ставило перед собой цель борьбы с контрреволюцией. Однако к этому времени само определение контрреволюции изменилось. При Ленине контрреволюция означала оппозицию Коммунистической партии. При Сталине она стала означать оппозицию самому Сталину; а поскольку в первых рядах оппозиции Сталину выступали сами коммунисты, ОГПУ использовало внутри партии те методы проникновения и провокаций, которые раньше применялись против врагов партии.

Первыми жертвами стали члены «левой оппозиции» во главе с Троцким и Зиновьевым. В сентябре 1927 года агент-провокатор ОГПУ, работающий в «левой оппозиции», обнаружил нелегальную «типографию» (в действительности же, эта типография была не чем иным, как множительным аппаратом), где оппозиционеры планировали печатать свою программу. По словам Александра Орлова, бывшего сотрудника ОГПУ, бежавшего на Запад, когда Ягода рассказал о типографии Сталину, тот ответил: «Очень хорошо! Теперь повысьте своего агента в звании до офицера армии генерала Врангеля и укажите в своем докладе, что троцкисты сотрудничают с врангелевскими белогвардейцами». После этого Сталин докладывал Центральному Комитету и Центральной контрольной комиссии, что «левая оппозиция» виновна в сотрудничестве с белыми.

В ноябре 1927 года Троцкий, Зиновьев и почти сто их последователей были исключены из партии. Зиновьев согласился покаяться, отрекся от «троцкизма» и был восстановлен в рядах партии. Троцкий отказался сделать это и в январе 1928 года был осужден ОГПУ на ссылку в удаленный район Казахстана на границе с Китаем. Менее чем через десять лет после этого Троцкий станет объектом самой последовательной охоты на человека за всю историю КГБ. В 1928 году «охота на ведьм», роль которых играли троцкисты, еще только начиналась, а выдворение из Москвы великого еретика носило элемент гротесковой комедии, которая вряд ли состоялась бы несколько лет спустя. Когда сотрудники ОГПУ пришли на московскую квартиру Троцкого утром 17 января, они застали его еще в пижаме. Троцкий заперся в комнате, как он делал не раз еще до революции, когда за ним приходила полиция. После безуспешных переговоров через закрытую дверь начальник группы сотрудников ОГПУ приказал выломать дверь. Троцкий был удивлен, когда в этом молодом офицере он узнал своего бывшего охранника, служившего у него в Гражданскую войну. Увидев своего бывшего комиссара в пижаме, молодой человек расплакался: «Пристрелите меня, товарищ Троцкий, пристрелите меня,» — умолял он, утирая слезы. Троцкий успокоил своего бывшего охранника и убедил его в том, что тот должен подчиняться приказам, какими бы они ни были. Затем, избрав тактику пассивного неповиновения, он отказался одеваться и тем более идти куда-то. Сотрудники ОГПУ сняли с него пижаму, надели на него костюм и вынесли его, несмотря на все протесты его домашних, к машине, которая должна была отвезти его к транссибирскому экспрессу.

Когда Троцкого высылали в Турцию в феврале 1929 года, сотрудники ОГПУ сделали все, чтобы не было свидетелей его отъезда на случай, если он опять начнет оказывать пассивное сопротивление. Вместе со своей женой, старшим сыном Львом Седовым и в сопровождении двух офицеров ОГПУ он взошел на борт корабля «Ильич» в Одессе. Как потом выяснилось, они были единственными пассажирами на этом судне, даже команда была проинструктирована держаться подальше от членов семьи Троцкого. Когда «Ильич» вошел в пролив Босфор, один из охранников Троцкого передал ему полторы тысячи долларов для того, чтобы «он мог начать жизнь за рубежом». У Троцкого не было ни копейки, и он, зажав свою гордость в кулак, взял эти деньги. Первые полтора месяца зарубежной жизни Троцкий провел в советском посольстве в Стамбуле, затем он переехал на турецкий остров Принкипо.

«Охота на ведьм», которую вело ОГПУ в конце 20-х годов, была направлена против политических и экономических провокаций. В марте 1928 года ОГПУ объявило о раскрытии «контрреволюционного заговора» на угольных шахтах Донбасского бассейна. Согласно чрезвычайно убедительному описанию развития заговора, первыми среди тех, кого разоблачил начальник ОГПУ Северного Кавказа Ю.Г. Евдокимов, была группа инженеров в городе Шахты, вступивших в заговор с бывшими владельцами угольных шахт, находившимися в тот момент в белой эмиграции, и с западными империалистами для того, чтобы сорвать работу шахт. Этот доклад был направлен Менжинскому, который потребовал доказательств. Евдокимов представил несколько перехваченных писем, направленных из-за рубежа указанным инженерам. И хотя в письмах не было ничего криминального, Евдокимов утверждал, что они содержали «подрывные инструкции», написанные шифром, известным только этим инженерам. Менжинский высказал сомнения по этому поводу и дал Евдокимову две недели на то, чтобы он разгадал шифр. Тогда Евдокимов обратился напрямую к Сталину, который дал указание арестовать этих инженеров. На специальном заседании Политбюро Сталин добился того, что ему лично было поручено разобраться в этом деле. Из нескольких несчастных случаев на производстве, возникших в результате поломок оборудования, пьянства рабочих, плохой организации труда и, возможно, нескольких случаев настоящего вредительства, ОГПУ, примешав сюда нескольких бывших царских инженеров и иностранных бизнесменов, состряпало «далеко идущий международный заговор», организованный из Варшавы, Берлина и Парижа. В течение двух месяцев советская пресса клеймила позором «подлых саботажников, заговорщиков и шпионов». Весь этот фантастический заговор вылился в обвинительный приговор, состоящий из 250 тысяч слов, по которому 50 русских и 3 немецких специалиста были обвинены в саботаже и шпионаже. Искусственно затянутый показательный процесс был открыт в мае под огромными хрустальными люстрами Московского дома союзов (до революции это здание принадлежало Дворянскому собранию). В общей сложности более 100 тысяч рабочих, крестьян, школьников и других специально отобранных зрителей, каждый день сменяя друг друга, следили за заседаниями суда.