Были случаи самоубийств среди сотрудников (Ф. А. Гурский). Были репрессированы, но остались в живых Я. Я. Буйкис, И. К. Лебединский, Я. И. Серебрянский, Р. И. Соболь, М. С. Яриков, Г. Б. Графлен, Д. А. Быстролетов, И. Н. Каминский, П. А. Золотусский, П. Я. Зубов (Серебрянский, Каминский, Яриков, Соболь, Зубов были освобождены и вернулись в разведку во время войны).

Были уволены из разведки (возвращены в годы войны) В. Г. Фишер, Р. И. Абель, В. П. Рощин, Г. И. Мордвинов, Н. М. Белкин, Э. С. Куцин. Остались в разведке с фактическим запретом на занятие руководящих постов В. Т. Яковлев, В. С. Гражуль, И. А. Ахмеров, Н. М. Бородин. Временно перешли на работу в контрразведку (также вернулись в разведку во время войны) Е. П. Мицкевич, Д. Г. Федичкин, А. М. Отрощенко. Были случаи отказа разведчиков вернуться в СССР (А. М. Орлов-Никольский, нелегальные резиденты в Голландии И. С. Порецкий-Рейсс и В. Г. Кривицкий, нелегальный резидент в Швейцарии М. А. Штейнберг, 2-й секретарь полпредства в Париже В. Соколин).

Всего в 1937–1938 гг. из 450 сотрудников (включая загранаппарат) было репрессировано 275, т. е. 60 % личного состава ИНО. Со многими ценными зарубежными агентами была прервана связь, восстановить которую удавалось далеко не всегда; в 1938 г. в течение 127 дней подряд из ИНО руководству страны не поступало информации.

После назначения 25 ноября 1938 г. наркомом внутренних дел Л. П. Берии первым зам. наркома и начальником ГУГБ был утвержден комиссар госбезопасности 3-го ранга В. Н. Меркулов. 22 октября 1938 г. был арестован начальник ИНО 3. Пассов (расстрелян в феврале 1940 г.). Исполняющим обязанности начальника ИНО стал и. о. помощника начальника испанского отделения П. А. Судоплатов; он возглавлял разведку до 2 декабря 1938 г., когда начальником 5-го отдела (ИНО) ГУГБ был назначен комиссар госбезопасности 3-го ранга В. Г. Деканозов, одновременно занимавший должности начальника 3-го (контрразведывательного) отдела ГУГБ и зам. начальника ГУГБ.

В 1939 г. структура 5-го отдела, включала в себя 17 отделений: 1-е — Германия, Венгрия, Дания; 2-е — Польша; 3-е — Франция, Бельгия, Швейцария, Голландия; 4-е — Великобритания; 5-е — Италия; 6-е — Испания; 7-е — Румыния, Болгария, Югославия, Греция; 8-е — Финляндия, Швеция, Норвегия; 9-е — Латвия, Эстония, Литва; 10-е — США, Канада. Мексика, Южная Америка; 11-е — Япония, Маньчжурия; 12-е — Китай. Синьцзян; 13-е — Монголия. Тува, 14-е — Турция, Иран, Афганистан; 15-е — техническая (научно-техническая) разведка; 16-е — оперативная техника; 17-е — визы и учет иностранцев.

13 мая 1939 г. не имеющий опыта разведывательной работы Деканозов был освобожден от должности начальника ИНО и назначен зам. наркома иностранных дел СССР. Его место занял старший майор госбезопасности П. М. Фитин.

Новый начальник разведки энергично взялся за порученное дело. В значительной мере удалось восполнить урон, нанесенный репрессиями, активизировать работу зарубежных резидентур. В первую очередь внимание было сосредоточено на подборе руководителей резидентур.

В 1939–1940 гг. за рубеж были направлены такие опытные разведчики как М. А. Аллахвердов, В. М. Зарубин, Е. Ю. Зарубина, А. М. Коротков, Б. А. Рыбкин, 3. И. Рыбкина, Д. Г. Федичкин; многие молодые способные разведчики; Н. М. Горшков, Г. Н. Калинин, Е. И. Кравцов, А. И. Леоненко, В. Г. Павлов, А. К. Тренев и др. К середине 1940 г. работоспособность разведки была в основном восстановлена. В ее центральном аппарате в Москве работало 695 человек, 242 командировано за границу. Удалось укомплектовать 40 резидентур. Наиболее крупные из них действовали в США (18 человек). Финляндии (17), Германии (13 человек). К 1941 г. был восстановлен агентурный состав в Германии, Англии, США, Франции. Италии и Китае, насчитывающий свыше 600 различных источников.

Эйтингону непросто было в такой обстановке. О нем самом Петерс и Карахан дали показания как об английском шпионе. Это стало ему известно только через 17 лег, в 1956 году. Но слежку за собой заметил сразу. Вот как рассказывает об этом Судоплатов, только что назначенный заместителем начальника 5-го отдела;

«На следующий день, как только я пришел в свой новый кабинет, мне позвонил из дома Эйтингон, недавно вернувшийся из Франции.

— Павлуша, я уже десять дней как в Москве, ничего не делаю. Оперативный отдел установил за мной постоянную слежку Уверен, мой телефон прослушивается. Ты ведь знаешь, как я работал. Пожалуйста, доложи своему начальству: если они хотят арестовать меня, пусть сразу это и делают, а не устраивают детские игры.

Я ответил Эйтингону, что первый день на руководящей должности и ни о каких планах насчет его ареста мне неизвестно. Тут же я предложил ему прийти ко мне, затем позвонил Меркулову и доложил о состоявшемся разговоре. Тот, засмеявшись, сказал:

— Эти идиоты берут Эйтингона и его группу под наружное наблюдение, а не понимают, что имеют дело с профессионалами.

Через десять минут по прямому проводу мне позвонил Берия и предложил: поскольку Эйтингон — подходящая кандидатура для известного мне дела, к концу дня он ждет нас обоих с предложениями».

Отношение Эйтингона к Троцкому, вероятно, менялось со временем.

Молодой коммунист и чекист видел наркомвоенмора в Гомеле, куда Лев Давидович приезжал в 1920 году во время наступления поляков, он учился академии в Москве, когда Троцкий был вождем Красной Армии. Работая в Стамбуле в 1929 году, он вел наблюдение за только что прибывшим туда Троцким.

Троцкий и на острове Принкипо, и во Франции, и в Норвегии был под присмотром ОГПУ-НКВД (операции за границей против Троцкого и его сторонников велись совместно Иностранным и Секретно-политическим отделами). За ним следили братья Соболевичюсы, выходцы из Литвы, они же Джек Собл и Ричард Соблен. С 1929 года в течение трех лет они были доверенными лицами Троцкого, имели доступ к шифрам, которыми он пользовался для переписки со своими сторонниками в СССР. Возможно, они подожгли (или помогли поджечь) в марте 1931 года дом Троцкого в Турции.

За сыном и ближайшим помощником Троцкого Львом Седовым (в ОГПУ-НКВД у него была кличка «Сынок», а у Троцкого — «Старик») следила группа нелегала ИНО НКВД болгарина Бориса Афанасьева (Атанасова), организовавшего в 1936–1938 годах похищение архивов Седова и Международного секретариата по созданию IV(троцкистского) Интернационала. В 1936–1937 годах чекистами была установлена аппаратура прослушивания телефонов на квартирах Седова и его ближайшей сотрудницы Лилии Эстриной. Ближайшим помощником, фактически личным секретарем Седова стал выходец из России Марк Зборовский (оперативные псевдонимы «Тюльпан», «Кант» и «Мак»), работавший в Международном секретариате троцкистов. В 1933 году он был завербован чекистами в Париже, после чего Сталин и другие советские руководители получили возможность читать как переписку Троцкого и Седова со своими сторонниками, так и написанные Троцким статьи еще до их публикации. Зборовский подготовил в ночь с 6 на 7 ноября 1936 года ограбление архива Троцкого в Париже (по свидетельству Судоплатова, им руководил Серебрянский).

Внимательно следя за деятельностью Троцкого за границей, Сталин в какой-то момент пришел к выводу о необходимости физического уничтожения своего противника. Доктор философских и исторических наук Дмитрий Волкогонов (идеологическая метаморфоза бывшего заместителя начальника Главного политуправления Советской армии, ставшего яростным антикоммунистом, у многих вызывает справедливое возмущение, но факт доступа его, одного из немногих, к секретнейшим архивам заставляет относиться к приводимым им документам с вниманием) считал, что уже в начале 1935 года заместитель начальника ИНО НКВД Сергей Шпигельглаз получил устное задание от наркома Ягоды, которое тот в свою очередь получил от Сталина — побыстрее ликвидировать Троцкого.

Сталина могла крайне раздражать поступавшая к нему информация о Троцком и его окружении. Например, донесение Зборовского в Москву от И февраля 1937 года: