Разведчики-нелегалы Зарубины активно работали и по белогвардейской эмиграции во Франции. В частности, в Париже Лиза поддерживала связь с ценным агентом ОГПУ, бывшим царским генералом П.П. Дьяконовым, который в прошлом занимал пост военного атташе России в Англии, а в 1920 году переехал на жительство во Францию и имел широкие связи в русской военной эмиграции. Он выполнял задания по разложению крупнейшей белогвардейской организации «Русский общевоинский союз» (РОВС), который насчитывал в своих рядах более 20 тысяч активных сторонников и готовил вооруженные акции против СССР и его представителей за рубежом. Генерал также снабжал Центр информацией о деятельности французской военной разведки. П.П. Дьяконов принимал участие в операции по захвату руководителя РОВС генерала Кутепова. Располагая обширными связями в высших военных кругах Франции, Дьяконов по заданию резидентуры довел до руководства французской военной разведки подготовленные Центром достоверные сведения о «пятой колонне» профашистски настроенных французских генералов и офицеров. Эта операция прошла успешно и сыграла свою роль в охлаждении отношений между Францией и Германией.
Во Франции Зарубины находились до 1933 года. По приезде в Москву после 4-летнего пребывания на нелегальной работе, не получив даже кратковременного отпуска, они сразу же были вновь направлены за рубеж, на этот раз — в Германию.
В 1933 году в связи с приходом Гитлера к власти обстановка в Германии осложнилась. По существу прекратилась деятельность нелегальной резидентуры в этой стране в связи с отъездом на родину большинства оперативных работников: почти все они были евреями и их дальнейшее пребывание в Германии стало небезопасным. Нелегалы Зарубины получили задание в кратчайший срок восстановить деятельность резидентуры. В. Зарубин был назначен руководителем нелегальной резидентуры, а его супруга — оперативным работником резидентуры. Разведчикам предстояло легализоваться в нацистской Германии, принять на связь агентуру и приступить к добыванию интересующей Москву информации о внутренней и внешней политике Гитлера, особенно информации, касающейся его планов в отношении СССР.
До Берлина В. Зарубин и его жена добирались по разным маршрутам. Обстановка с легализацией в Германии резко отличалась от той, которая была во Франции. О получении вида на жительство на длительный срок не могло быть и речи. Поэтому сначала Зарубины находились в нацистском рейхе в качестве туристов. Тем не менее, они сразу же приступили к приему на связь нелегальной агентуры.
Работа в Германии была связана для разведчиков со смертельной опасностью. Дело в том, что Елизавета Юльевна была еврейкой по национальности, поэтому малейшая неосторожность в работе или в быту грозила ей концлагерем. Однако Центр был вынужден пойти на этот риск, учитывая имевшийся у разведчиков богатый опыт нелегальной работы во Франции. Москва принимала во внимание и ряд благоприятных обстоятельств. В частности, немаловажную роль имело «прикрытие» нелегалов Зарубиных, которые должны были представлять американскую фирму. А накануне новой мировой войны немцы нуждались в хороших отношениях с США и внешне нормально относились к американским гражданам. Кроме того, В. Зарубин располагал классической «арийской» внешностью, а Лиза скорее походила на красивую итальянку, чем на еврейку.
Поездка в Германию началась для В. Зарубина с небольшого приключения. Ему был выдан «настоящий» американский паспорт с переклеенной фотографией на имя натурализировавшегося в США финна Картунена. В купе поезда с ним ехал австриец, с которым Василий время от времени беседовал, чтобы скоротать время. Утром они благополучно прибыли на пограничную станцию, где пассажиры спальных вагонов должны были пройти с вещами таможенный досмотр. Когда досмотр начался, советские пограничники выкликнули фамилию Картунена и, убедившись, что Зарубин находится на месте, предложили ему оставаться в купе, а остальных пассажиров пригласили пройти в таможню. «Особое отношение» советских пограничников могло привести к расшифровке, поэтому Зарубин прихватил часть своих вещей и отправился на таможенный досмотр вместе с остальными пассажирами.
Австриец обратил внимание на его разговор с пограничниками и поинтересовался, почему его выделяют среди других пассажиров. Зарубин ответил, что в Москве не успели погрузить весь его багаж и пограничники интересовались, будет ли он делать остановку на границе. На это он якобы ответил, что поедет дальше, а багаж подождет в Берлине, где будет находиться транзитом. Таким образом разведчику удалось избежать расшифровки перед иностранцем еще до пересечения советской границы.
Руководимая Зарубиным нелегальная резидентура была сформирована в кратчайшие сроки. В нее вошли оперработники, приехавшие в Берлин вслед за резидентом, а также шесть источников информации из числа местных граждан и иностранцев, принятые разведчиками на связь. Через некоторое время от нелегальной резидентуры в Центр пошла важная секретная информация.
В. Зарубин лично поддерживал конспиративную связь с наиболее ценными источниками информации, среди которых был сотрудник гестапо Вилли Леман («Брайтенбах»). Именно он стал одним из прототипов полковника Исаева-Штирлица в знаменитой повести Юлиана Семенова «Семнадцать мгновений весны». «Брайтенбах» возглавлял отдел гестапо по борьбе с «коммунистическим шпионажем» и, пользуясь своим служебным положением, неоднократно спасал резидентуру НКВД от провалов и предупреждал о провокациях, которые готовились против советского дипломатического представительства и его сотрудников в Берлине. От него регулярно поступала информация о внутриполитическом положении в Германии, ее военных приготовлениях против соседних стран. Так, в 1935 году он сообщил сведения о создании Вернером фон Брауном принципиально нового вида оружия — знаменитых ракет «Фау». Успешная работа с ним продолжалась до отъезда Зарубиных из Берлина в 1937 году. «Брайтенбах» был передан на связь сотруднику «легальной» резидентуры и был одним из самых результативных ее источников. В декабре 1942 года в результате провала «Брайтенбах» был арестован гестапо и расстрелян.
Другим ценным источником нелегальной резидентуры Зарубина был сотрудник германского МИД «Вальтер». Являясь членом СС, он, тем не менее, критически относился к нацизму, не одобрял политику Гитлера и симпатизировал нашей стране. От источника регулярно поступала документальная информация, включая телеграммы и письма германских послов в других странах, копии записок по различным политическим вопросам, которые готовились для руководящих деятелей третьего рейха. В дальнейшем он наряду с «Брайтенбахом» стал одним из тех источников, кто проинформировал берлинскую резидентуру о готовящемся нападении Германии на СССР.
Елизавета восстановила в Берлине связь с «Ханум», которая к тому времени работала в центральном аппарате гитлеровского МИД. Она передавала советской разведке очень важные документы. Из них следовало, что Гитлер готовит большую европейскую войну. Получаемые от «Ханум» материалы позволяли перепроверять сведения, поступавшие от «Вальтера», а также существенно их дополняли. Однако через некоторое время «Ханум» заболела и вскоре умерла. Лиза сумела найти ей замену в лице скромного служащего МИД Германии, который работал в дальнейшем под псевдонимом «Винтерфельд». Весной 1936 года Е. Зарубина обучила «Винтерфельда» технике фотографирования документов микроаппаратом, и вскоре он стал передавать советской разведке копии секретных шифротелеграмм и другие важные документы германского внешнеполитического ведомства.
В агентурной сети нелегальной резидентуры в Берлине были лица, тесно связанные с влиятельными кругами нацистской партии. Благодаря этим связям Центр получал сведения о доверенных лицах национал-социалистической партии в германских представительствах в СССР, а также о деятельности нацистского партийного аппарата, включая и разведывательную, так как НСДАП располагала собственной партийной разведкой. Центр также регулярно получал данные о тайных внешнеполитических замыслах нацистского руководства. Информация нелегальной резидентуры, возглавляемой В. Зарубиным, неизменно получала высокую оценку его кураторов на Лубянке. Из потока информации, направлявшейся резидентурой, следовал вывод о неизбежности военного столкновения с Германией в ближайшие годы.
