В то же время продолжалась борьба со шпионажем, хотя ее эффективность была снижена участием КРО в политических репрессиях. Контрразведка НКВД в 1936–1938 гг. наибольших результатов добилась в пресечении деятельности германской разведки и ее резидентов в Белоруссии, Москве и Ленинграде, легально работавших в СССР в качестве немецких специалистов. В Средней Азии, Донбассе, Днепропетровской области УССР и Приморье резидентурами, как было установлено контрразведчиками, руководили германские консулы.

На Дальнем Востоке контрразведчики пресекали попытки японских спецслужб перебросить через советскую границу агентов, завербованных из числа эмигрантов и осевших в Маньчжурии («Братство русской правды» и «Национальный союз нового поколения»). Сотрудники японского посольства в Москве и консульств в Новосибирске, Хабаровске, Владивостоке и других городах предпринимали попытки организации разведывательной сети, которые были пресечены в 1935–1937 гг. в ходе проведенных контрразведкой операций. После принятого 10 октября 1937 г. с санкции Политбюро ЦК ВКП(б) оперативного приказа НКВД, согласно которому сотрудникам КРО предлагалось «немедленно арестовывать всех советских граждан, связанных с личным составом диппредставительств и посещающих их служебные и домашние помещения» и требовалось обеспечить «беспрерывное наблюдение» за всеми сотрудниками посольств Германии, Японии, Италии, Польши, в СССР было закрыто большое количество консульств этих стран.

В ходе очередной реорганизации НКВД 3-й отдел 28 марта 1938 г. вошел в состав 1-го управления НКВД (управления госбезопасности), а его новым начальником, вместо перешедшего на работу в 6-й отдел Минаева-Цикановского (за год своего руководства контрразведкой он так и не был утвержден в должности начальника, оставшись «и.о.»), стал комиссар госбезопасности 3-го ранга Н.Г. Николаев-Журид, ранее уже работавший в КРО-ОО, непосредственно перед назначением возглавлявший военную контрразведку. По совместительству Н.Г. Николаев-Журид являлся заместителем начальника 1-го управления НКВД — 1-го заместителя наркома комкора М.П.Фриновского.

Заместителем Николаева-Журида был его сослуживец по Ростову-на-Дону майор госбезопасности М.А. Листенгурт. 29 сентября того же года, после восстановления ГУГБ, Н.Г. Николаев-Журид остался начальником 3-го отдела, перестав при этом быть заместителем начальника ликвидированного 1-го управления.

Заместителем начальника ГУГБ стал приехавший из Грузии, вместе с новым 1-м зам. наркома и начальником ГУГБ Л.П. Берия, бывший завотделом ЦК КП(б) Грузии В.Н. Меркулов. Через месяц, 25 октября 1938 г., Меркулов сменил арестованного в тот же день Николаева-Журида (был арестован и Листенгурт) на посту руководителя контрразведки. Но он также недолго проработал на этом посту. 17 декабря Меркулов был назначен 1-м заместителем нового наркома Л.П.Берия — начальником ГУГБ. Начальником 3-го отдела стал также выходец из Тбилиси комиссар госбезопасности 3-го ранга В.Г. Деканозов, за две недели до этого возглавивший 5-й (иностранный) отдел ГУГБ. 17 же декабря Деканозов стал по совместительству заместителем начальника ГУГБ, оставаясь при этом руководителем разведки. Такое совмещение постов было единственным случаем в истории советских органов госбезопасности.

В марте 1939 г. Деканозов на XVIII съезде партии был избран кандидатом в члены ЦК; 13 мая 1939 г. покинул НКВД, перейдя на дипломатическую работу — заместителем нового наркома иностранных дел В.М. Молотова (сменившего М.М. Литвинова).

Начальником 3-го отдела 25 июня того же года стал майор госбезопасности Т.Н. Корниенко, выходец из рабочих, после окончания аспирантуры Института востоковедения имени Н. Нариманова работавший в Особом Контрразведывательном отделе ОГПУ-ГУГБ НКВД, где прошел путь от помощника оперуполномоченного до заместителя начальника отдела. В период его руководства отделом (на декабрь 1939 г.) структура советской контрразведки выглядела следующим образом:

1-е отделение (Германия, Венгрия);

2-е отделение (Япония, Китай);

3-е отделение (Англия);

4-е отделение (Франция, Италия, Бельгия, Швейцария, Испания);

5-е отделение (Румыния, Греция, Болгария, Югославия);

6-е отделение (работа по оккупированной Польше);

7-е отделение (Финляндия, Швеция, Норвегия, Дания);

8-е отделение (САСШ и страны Южной Америки);

9-е отделение (Турция, Иран, Афганистан);

10-е отделение (белогвардейские контрреволюционные элементы);

11-е отделение (Латвия, Эстония, Литва);

12-е отделение (НКИД, полпредства и консульства);

13-е отделение (ИККИ, МОПР);

14-е отделение (НКВТ, торгпредства);

15-е отделение (Интурист и ВОКС, частично охрана дипкорпуса ОДК): политотдел ОДК;

16-е, 17-е, 18-е отделения ОДК.

Как видим, структура контрразведки усложнилась по сравнению с предыдущим периодом. Во многом это было связано с начавшейся Второй мировой войной.

Главным противником советской контрразведки были спецслужбы нацистской Германии, которые после подписания в августе 1939 г. советско-германского пакта о ненападении усилили работу против СССР с легальных позиций. Немецкие разведчики вели ее под прикрытием различных комиссий по переселению немцев в Германию с территорий, отошедших к СССР, торговых делегаций. Так, в январе 1940 г. среди членов германской торговой делегации был выявлен с помощью советской военной разведки сотрудник немецкой разведки. КРО УНКВД Ленинградской области были зафиксированы факты систематической посадки на мель вблизи Кронштадтской военно-морской базы германских торговых судов. Работа по противодействию немцкой разведке в 1939–1940 гг. велась в основном в Западной Украине, Западной Белоруссии, республиках Прибалтики, вошедших в состав СССР. В этих регионах число арестованных органами госбезопасности иностранных агентов возросло с 40 до 62 % от их общего количества, хотя там проживало немногим более 10 % населения СССР.

Руководство НКГБ принимало меры по улучшению агентурно-осведомительной службы. Приказами по ведомству предписывалось, чтобы оперативный сотрудник руководил работой только резидента, который осуществлял связь с прикрепленными к нему осведомителями; агенты, т. е. секретные сотрудники, участвовавшие в оперативных разработках, должны были находиться на личной связи только с оперативным сотрудником. В оставшиеся до начала войны месяцы НКГБ не удалось действенно перестроить агентурно-осведомительную сеть, годами осуществлявшую тотальное наблюдение за огромным количеством рядовых граждан. Но контрразведывательный режим в стране был все же усилен: более эффективно, используя секретное фотографирование, стала работать наружная разведка, улучшилась деятельность радиоконтрразведывательной службы, широко использовалась специальная техника (прослушивание), повысились требования к работе службы политконтроля и оперативного учета.

Велось наблюдение за посольствами, в первую очередь Германии и ее сателлитов. Этим занималось 1-е отделение 3-го отдела во главе с капитаном госбезопасности (соответствовало званию полковника в РККА) B.C. Рясным. Чекисты установили подслушивающее устройство в кабинете немецкого военного атташе в Москве генерала Э. Кестринга. Одним из сотрудников, занимавшихся оперобслуживанием немецкого посольства, был Н.И. Кузнецов, впоследствии знаменитый разведчик, действующий на временно оккупированной фашистами территории СССР.

В 1940 г. и первой половине 1941 г. органы госбезопасности раскрыли 66 резидентур и арестовали свыше 1,5 тыс. агентов немецкой разведки, в 1939–1941 гг. в приграничных районах Дальнего Востока — свыше 2,5 тыс. агентов японской разведки.