Советская разведка стремилась компенсировать свои слабые успехи внутри Германии операциями, направленными на Германию извне, особенно из Нидерландов, Франции и Швейцарии. В конце 1930-х годов несколько талантливых агентов Четвертого Управления начали создавать сеть, ставшую во время войны основным каналом получения Советским Союзом разведывательной информации из нацистской Германии. Прежде всего необходимо упомянуть два имени. Это, во-первых, Леопольд Треппер, по происхождению польский еврей, который после работы на Отдел международных связей Коминтерна был завербован в 1936 году Берзиным для сотрудничества с Четвертым Управлением. В 1938 году Треппер прибыл в Бельгию по фальшивому паспорту на имя Адама Миклера, канадского бизнесмена, якобы искавшего выгодное вложение своих 10 тысяч долларов. Вместе со своим приятелем Леоном Гроссфогелем, тоже евреем, работавшим на ОМС, Треппер основал компанию под забавным названием «Замечательные иностранные плащи». Компания служила прикрытием для его шпионской работы. Треппер стал, как он впоследствии говорил, «наглядной иллюстрацией преуспевающего промышленника», но при этом создавал шпионскую сеть, в основном состоявшую из евреев, ненавидевших антисемитизм нацистов и готовых безвозмездно работать против Гитлера. Хотя Треппер, как и Зорге, был руководителем всей сети, он сам был своим лучшим агентом. Тем не менее, перед войной ему и его агентам удалось собрать лишь незначительное количество второстепенной разведывательной информации. Как писал Треппер позднее, «до начала войны мы, строго говоря, разведывательной деятельностью и не занимались. Нашей целью было создание надежного коммерческого прикрытия и организация необходимой базы, чтобы мы были готовы, когда прогремят первые выстрелы.»

Самым выдающимся современником Треппера был венгр Шандор Радо, который, как и Треппер, был евреем и начал свою карьеру разведчика в ОМС, а потом был завербован Четвертым Управлением. Так же, как и Треппер, он работал под маркой предпринимателя, основав в Женеве в 1936 году некую картографическую компанию. Во время Второй мировой войны Радо пришлось возглавлять самую важную советскую агентскую сеть, ориентированную на Германию. Но перед войной его разведывательная деятельность, как и Треппера, не имела большого значения.

До войны важнейшая информация добывалась советскими агентами, проникнувшими в посольства Германии в Токио и Варшаве. Зорге, советский разведчик в Токио, был сам по себе выдающимся случаем. Зорге подсчитал, что когда его приятель Эйген Отт, до того занимавший пост военного атташе, стал в апреле 1938 года послом Германии, 60 процентов разведывательных данных, передаваемых его группой в Москву, шло из германского посольства. Однажды по просьбе Отта Зорге в качестве курьера посольства ездил в Манилу, Кантон и Гонгконг — редкая ситуация, когда советский разведчик работал под дипломатическим прикрытием Германии.

Согласно официальной советской версии, Зорге так и не узнал, что руководитель Четвертого Управления генерал Берзин был расстрелян еще в 1938 году. Злой иронией звучат слова его письма руководителю отдела в октябре 1938 года:

«Дорогой товарищ! О нас не беспокойтесь. Хотя мы все ужасно устали и находимся в постоянном напряжении, мы остаемся дисциплинированными, послушными, решительными и убежденными товарищами и готовы выполнять задания, связанные с нашей великой миссией. Шлю вам и вашим друзьям искренний привет. Прошу Вас передать прилагаемое письмо и привет моей жене. Пожалуйста, проследите, чтобы у нее все было в порядке…»

Основным направлением разведывательной деятельности Зорге до и после начала Второй мировой войны, однако, была политика Японии, а не Германии. Летом 1938 года он уверял Москву, на основании информации, полученной от своего агента Озаки, что ответственность за первый серьезный пограничны! конфликт между Японией и Советским Союзом на озере Хасан недалеко от границы с оккупированной Японией Маньчжурии полностью лежит на командовании расположенных там японских войск и что Токио всеми силами стремился избежать войны. Зорге передал схожее успокаивающее сообщение после нарушений Японией границ Внешней Монголии в мае 1939 года. Москва не поверила донесению Зорге и некоторое время полагала, что на Советском Дальнем Востоке назревает крупная агрессия. К лету 1939 года Четвертое Управление на какое-то время потеряло доверие к своему самому способному агенту. Когда Германия вторглась в Польшу и 1 сентября 1939 года началась Вторая мировая война, Москва послала Зорге резкий упрек:

«Япония уже предприняла значительные шаги (военные и политические), готовясь к войне с Советским Союзом, но вы не предоставили сколь-нибудь ценной информации. Складывается мнение, что ваша работа перестала быть активной.»

За два года до начала войны советская разведка внедрила в германское посольство еще одного агента. В 1937 году Рудольф Геррнштадт, немецкий журналист еврейского происхождения (позднее редактор газеты «Нойес Дойчланд» в ГДР), работавший на Четвертое Управление в Варшаве, завербовал Рудольфа фон Шелиха, сорокалетнего советника посольства Германии. Фон Шелиха был родом из аристократической семьи из Силезии и перед поступлением на дипломатическую службу служил офицером в кавалерии во время Первой мировой войны. Однако к середине 1930-х годов его зарплата и доход его жены уже не могли дать ему возможность предаваться своим страстям — азартным играм и любовницам. В отличие от Зорге фон Шелиха был скорее наемником, чем разведчиком в силу идеологических соображений. В феврале 1938 года Четвертое Управление перевело на счет фон Шелиха в цюрихском банке шесть с половиной тысяч долларов — одна из самых крупных сумм, выплаченных какому-либо советскому агенту в период между войнами.

Фон Шелиха столь высоко ценился Четвертым Управлением из-за уникальной возможности взглянуть изнутри на развитие политики Германии по отношению к Польше — события, вызывавшие беспокойство Москвы. В первые пять лет у власти Гитлер стремился развеять вполне обоснованные опасения Польши относительно его территориальных притязаний в Восточной Европе и с этой целью в январе 1934 года заключил с Польшей договор о ненападении. Этим шагом Гитлер стремился успокоить поляков, чтобы, модернизировав свои вооруженные силы, впоследствии уже не бояться возможного отпора Польши, а пока заручиться поддержкой Польши против СССР. В октябре 1938 года Гитлер предложил Польше проводить «совместную политику по отношению к России на основе антикоминтерновского пакта.» Однако после «мюнхенского сговора» все более очевидным становилось, что притязания Гитлера на контроль над портом Данциг (ныне Гданьск) были частью политики, в конечном итоге направленной на низведение Польши до положения сателлита Германии. К марту 1939 года польско-германские отношения достигли критической точки. Отбросив политику умиротворения, Великобритания и Франция гарантировали Польше «всемерную возможную поддержку» при отражении агрессии Германии.