28 марта 1938 года Фитин был зачислен на службу в органы госбезопасности и направлен на учебу в Центральную школу НКВД СССР в Большом Кисельном переулке, а осенью того же года переведен на ускоренные курсы вновь созданной Школы особого назначения (ШОН) НКВД СССР. Как отмечал сам Павел Михайлович, «в октябре 1938 года я пришел на работу в Иностранный отдел оперативным уполномоченным отделения по разработке троцкистов и “правых” за кордоном, однако вскоре меня назначили начальником этого отделения. В январе 1939 года (по другим данным 1 ноября 1938 года. – А.В.) я стал заместителем начальника 5‑го отдела, а в мае 1939 года возглавил 5-ый отдел НКВД. На посту начальника внешней разведки находился до середины 1946 года».
Такая головокружительная карьера 30-летнего Павла Фитина – менее чем за год он прошел путь от сельхозслужащего до начальника внешней разведки Советского Союза – объясняется не недостатком кадров «расстрельной разведки», а их реформой, направленной на создание первой национальной разведывательной службы, которая 26 февраля 1941 года стала называться 1-м Управлением НКГБ СССР – предшественником Первого Главного Управления (ПГУ) КГБ СССР.
Заместителем Фитина 10 мая 1939 года был назначен Павел Анатольевич Судоплатов, который с 1935 года находился на нелегальной работе в Германии, под легендой участника антисоветского националистического подполья на Украине был внедрен в Организацию украинских националистов (ОУН), проник в ближайшее окружение ее лидера Евгена Коновальца и 23 августа 1938 года по личному поручению Сталина ликвидировал Коновальца в Роттердаме, передав ему коробку конфет с заложенным в нее взрывным устройством.
Одновременно со своим назначением заместителем начальника внешней разведки Судоплатов получил задание возглавить операцию по ликвидации Троцкого. В своих воспоминаниях он пишет: «Вход в здание Кремля, где работал Сталин, был мне знаком по прошлым встречам с ним. Мы поднялись по лестнице на второй этаж и пошли по длинному безлюдному коридору, устланному красным ковром… Нас с Берией пропустил тот же офицер охраны <…> Сталин посуровел и, чеканя слова, словно отдавая приказ, проговорил: “Троцкий должен быть устранен в течение года, прежде чем разразится неминуемая война. Без устранения Троцкого, как показывает испанский опыт, мы не можем быть уверены, в случае нападения империалистов на Советский Союз, в поддержке наших союзников по международному коммунистическому движению. Им будет очень трудно выполнить свой интернациональный долг по дестабилизации тылов противника, развернуть партизанскую войну. У нас нет исторического опыта построения мощной индустриальной и военной державы одновременно с укреплением диктатуры пролетариата, – продолжил Сталин, и после оценки международной обстановки и предстоящей войны в Европе он перешел к вопросу, непосредственно касавшемуся меня. Мне надлежало возглавить группу боевиков для проведения операции по ликвидации Троцкого, находившегося в это время в изгнании в Мексике. <…> Через десять минут по прямому проводу мне позвонил Берия и предложил: поскольку Эйтингон – подходящая кандидатура для известного мне дела, к концу дня он ждет нас обоих с предложениями. Когда появился Эйтингон, я рассказал о замысле операции в Мексике. Ему отводилась в ней ведущая роль. Он согласился без малейших колебаний. Эйтингон был идеальной фигурой для того, чтобы возглавить специальную нелегальную резидентуру в США и Мексике. Подобраться к Троцкому можно было только через нашу агентуру, осевшую в Мексике после окончания войны в Испании. Никто лучше его не знал этих людей. Работая вместе, мы стали близкими друзьями. Приказ о ликвидации Троцкого не удивил ни его, ни меня: уже больше десяти лет ОГПУ-НКВД вели против Троцкого и его организации настоящую войну».
Во исполнение приказа Сталина 9 июля 1939 года был доложен план агентурно-оперативных мероприятий по делу «Утка», в ходе которого агент Рамон Меркадер, завербованный резидентурой НКВД в Испании, которого с Эйтингоном связывала настоящая дружба, рано утром 20 августа 1940 года в Мексике на вилле в Койокане нанес Троцкому удар ледорубом. Эйтингон, как было условлено, дожидался Меркадера снаружи виллы в своей машине с работающим двигателем. Однако в момент удара Троцкий повернулся и был только ранен. Он громко завопил, зовя на помощь. Ворвавшиеся в комнату охранники сбили Меркадера с ног. Поняв, что тому не уйти, Эйтингон был вынужден уехать. Троцкий умер на следующий день, а Эйтингон покинул Мексику, добрался до Кубы и только спустя шесть месяцев оказался в Москве.
17 июня 1941 года Берия вызвал Судоплатова и отдал приказ о создании Особой группы на базе внешней разведки для проведения диверсий в тылу у наступающих войск противника. Заместителем Судоплатова был назначен Эйтингон. Кроме того, Судоплатов обратился к Берия с предложением вернуть из мест заключения и вынужденной отставки чекистов, имеющих опыт диверсионной и партизанской работы, таких как Серебрянский, Медведев, Мордвинов и другие. Начиная с 26 июня на московском стадионе «Динамо» началось формирование войск Особой группы, которые 3 октября 1941 года были сведены в Отдельную мотострелковую бригаду особого назначения (ОМСБОН) – спецназ госбезопасности. 18 января 1942 года приказом НКВД СССР № 00145 Особая группа при наркоме внутренних дел Берия была преобразована в 4-е Управление НКВД СССР, которое также возглавил старший майор ГБ, с 1943 года генерал-лейтенант Судоплатов.
Уже к началу осени 1942 года в тыл врага было заброшено 58 отрядов особого назначения. Как правило, они превращались затем в крупные партизанские бригады. За время войны было сформировано 212 отрядов и групп общей численностью 7316 человек, а также более 50 одиночных исполнителей. К числу основных задач относились: сбор разведывательных данных и информации военного, экономического и социально-политического характера; разрушение стратегических железнодорожных и шоссейных магистралей и других коммуникаций в прифронтовой зоне и в глубоком тылу противника, выведение из строя важных транспортных узлов; срыв железнодорожных и автоперевозок живой силы и техники противника на фронт; разрушение мостов, станционных сооружений; всяческое препятствие вывозу в Германию советских граждан, техники и награбленной немцами национальной собственности советского народа и имущества граждан; разгром военных, жандармских и полицейских гарнизонов; вывод из строя промышленных предприятий, электростанций, средств связи.
Общие итоги боевых действий ОМСБОН поражают всякое воображение – ни одно соединение Красной Армии не имело таких успехов. Было пущено под откос 1415 вражеских эшелонов с живой силой и техникой, уничтожено 1232 паровоза, 13181 вагонов и цистерн с горючим, взорвано 335 железнодорожных и шоссейных мостов, выведено из строя 92,2 км рельсов и около 700 км телефонного кабеля. Было проведено 1084 боевых столкновения с противником, разгромлено 122 гарнизона, жандармских и полицейских управления, комендатур и штабов. В открытом бою и в результате диверсионных актов было уничтожено 136 тыс. солдат и офицеров противника. Было ликвидировано 87 высших чиновников оккупационных властей, 2045 фашистских агентов и пособников врага. 25 омсбоновцев стали Героями Советского Союза и ещё двое – Героями России.
Во времена Андропова преемником ОМСБОН стала группа специального назначения Управления «С» (нелегальная разведка) ПГУ КГБ СССР «Вымпел». Один из создателей этой группы, фронтовик, почетный сотрудник госбезопасности, полковник Иван Павлович Евтодьев, которому в 1950–1953 годах довелось работать под руководством Павла Анатольевича Судоплатова, утверждает, что «”Вымпел” был вершиной в очень нужной сфере деятельности для нашего Отечества. Но ведь и до него было много такого, чем можно гордиться. Взять, например, испанские события. Илья Григорьевич Старинов, его операции вошли в учебники спецслужб во всем мире. В Великую Отечественную войну такие личности, как генералы Судоплатов и Эйтингон в тяжелейших условиях создали крупное подразделение разведывательно-диверсионной деятельности, и заслуги их величайшие. Некоторые историки утверждают, что если брать стратегию, то в войну было три генерала, которые добились того, что мы победили. Это Жуков, Рокоссовский и Судоплатов. Причем Судоплатов с Эйтингоном воспитали целую плеяду Героев Советского Союза, которые действовали исключительно грамотно и исключительно полезно для страны – это и Ваупшасов, и Прокопюк, и Прудников, и Мирковский и многие другие. А такие личности, как Кузнецов, как Молодцов, как Лягин – этого никогда нельзя забывать и надо использовать в нашей повседневной работе».