Главной областью некоторой напряженности между Советским Союзом и Германией были Балканы, где продвижение войск Германии повлекло за собой несколько официальных протестов с советской стороны. 6 апреля был подписан расплывчатый югославо-советский договор. Хотя этот договор не обязывал Советский Союз оказывать военную помощь Югославии, договор получил много хвалебных эпитетов в советской прессе того времени. На следующий день Германия предприняла стремительное наступление, которое заставило югославов просить мира уже через несколько дней. Хотя Советский Союз выразил протест по этому поводу, Сталин решил не поднимать много шума. В апреле 1941 года советские поставки сырья в Германию достигли своего максимума за все время со дня подписания пакта о ненападении: 208.000 тонн зерна, 50.000 тонн горючего, 8.300 тонн хлопка, 8.340 тонн металла. СССР также перевез по Транссибирской железной дороге 4.000 тонн каучука, закупленного Германией на Востоке. На церемонии проводов японской делегации в середине апреля Сталин был крайне любезен с Шуленбургом и другими немецкими представителями и, хлопнув по спине озадаченного помощника военного атташе, сказал ему: «Мы будем очень хорошими друзьями!» На первомайском параде в Москве Сталин разрешил Деканозову занять почетное место рядом с собой на трибуне Мавзолея Ленина на Красной площади.

Крайне озабоченный тем, чтобы избежать «провокаций», которые могли бы вызвать враждебность Гитлера и поставить под угрозу пакт о ненападении, Сталин ввел ограничения на разведывательную деятельность в Германии, не существовавшие ни для какой другой страны. Одним из приоритетных направлений работы, определенных Сталиным для берлинских резидентур как НКВД, так и ГРУ, было раскрытие секрета успеха Гитлера: «Что позволило успешно работать нацистской партии, как она сумела подмять под себя большую часть Европы.» Исмаил Ахмедов, офицер ГРУ, посланный в Берлин весной 1941 года, был проинструктирован своим начальником, что Сталин «был особенно… заинтересован в источнике силы Гитлера» и что он должен «предоставлять неприукрашенные, объективные донесения» по этому вопросу — редкое требование в эпоху принципа «угадать, угодить, уцелеть», а также индикатор глубокого интереса Сталина. Еще одним приоритетом в работе НКВД в Берлине было наблюдение за деятельностью ГРУ. Резидент НКВД Амаяк Захарович Кобулов получал наслаждение, разнося в пух и прах в присутствии всех сотрудников «легенды» сотрудников ГРУ. Ахмедов, которому пришлось пережить один из таких разносов, заключал, возможно, правильно, что Кобулов «просто хотел увидеть, сделаю ли я какую-нибудь ошибку, которая может быть использована против меня позднее». В помещении резидентуры НКВД имелась комната (обнаруженная, когда посольство выехало из своего здания после нападения Германии на СССР), специально оборудованная для допросов, пыток и уничтожения «врагов народа», раскрытых в посольстве и советской колонии. Деканозов осуществлял общее руководство операциями и НКВД и ГРУ и вел себя в посольстве, как «местный царек». На собраниях сотрудников посольства, вспоминал Ахмедов, «он перечислял задачи, которые необходимо было выполнить, и дела, от которых надо держаться подальше, а затем безапелляционно всех распускал… Это представление имело единственной целью показать, кто в посольстве главный.»

Шпионаж, направляемый из посольства в Берлине, держался на туго натянутом поводе. У НКВД, казалось, не было сколько-нибудь значимых агентов. Резидент ГРУ при советской торговой миссии Александр Эрдберг (настоящее имя которого, возможно, было Сергей Кудрявцев. Позднее он появлялся в таких удаленных друг от друга странах, как Канада и Камбоджа), ограничился вербовкой нескольких тщательно отобранных участников коммунистического подполья, которых он уговорил создать свои собственные сети агентов, а также поддерживать контакты через посредника с Рудольфом фон Шелиха, германским дипломатом, который был завербован в Варшаве в 1937 году. Двумя самыми важными завербованными агентами были Арвид Харнак и Харро Шульце-Бойзен. Харнак родился в 1901 году в семье известного историка и был племянником также известного философа. Харнак стал марксистом в середине 1920-х. Во время своего посещения Советского Союза в 1932 году Харнак встретился с Куусиненом и Пятницким и согласился сотрудничать с коминтерновским подпольем. В 1933 году он поступил на работу в Министерство экономики Германии и постепенно вырос до довольно значительного поста в «Оберрегирунгсрате». Его контакты с советской разведкой, однако, не были постоянными, пока в 1940 году его не завербовал Эрдберг. Его товарищ по коммунистическому подполью Рейнхольд Шенбрунн позднее говорил о Харнаке:

«Фанатичный, жесткий, упорный, удивительно энергичный и деловой, Харнак не был, однако, приятным человеком или рубахой-парнем. Всегда очень серьезный, он обладал небольшим чувством юмора, а мы, его коллеги, в его присутствии чувствовали себя несколько неловко. В нем было что-то пуританское, нечто узкое и доктринерское. Но он был крайне целеустремленным человеком».

Шульце-Бойзен, еще один из ведущих агентов Эрдберга, был совершенно другим человеком. Леопольд Треппер, руководитель, действовавшей во время войны разведывательной группы «Красный оркестр», находил его «горячим и страстным человеком, в отличие от Арвида Харнака, который был холодным и задумчивым». Родом из аристократической семьи, Шульце-Бойсен стал коммунистом в 1933 году в возрасте двадцати четырех лет. После прихода нацистов к власти его ненадолго арестовало гестапо, но семья использовала свое влияние для его освобождения. Семейное влияние также помогло ему сделать карьеру в качестве офицера разведки в руководимом Герингом Министерстве авиации. В докладе немецкой контрразведки отмечалось, что начало его «доказанной подрывной деятельности» относится к 1936 году, когда Шульце-Бойзен через посредника передал в советское посольство в Берлине секретные планы военных операций против республиканского правительства в Испании. Шульце-Бойзен, однако, окончательно стал агентом ГРУ в начале 1941 года, когда Харнак представил его Эрдбергу.