Эйтингон в конце 1925 года прибыл в Шанхай. Шанхайскую резидентуру ИНО возглавлял под прикрытием должности вице-консула с декабря 1925 года Яков Минский. Его заместителем и стал Наум Эйтингон (с этого времени до начала 1940-х годов Эйтингон работал за границей и в центральном аппарате ИНО под именем Леонида Александровича Наумова, многие знали его как Леонида, в то время как в различных официальных документах он выступал под своей фамилией). В шанхайской резидентуре в 1926–1927 годах под прикрытием должности коменданта консульства работал Рудольф Иоганнович Абель, впоследствии полковник разведки, скончавшийся в 1946 году (его именем в 1957 году воспользовался арестованный в США разведчик-нелегал Вильям Фишер, ставший знаменитым как «полковник Абель»).

В то время работникам зарубежных резидентур была предоставлена большая свобода в вербовке агентуры, а резиденты имели право без согласования с Москвой утверждать новоприобретенных агентов.

Работа советских разведчиков проходила в сложных условиях обострившейся внутриполитической борьбы в Китае. В марте 1927 года Михаил Бородин, следуя указаниям руководства ВКП(б) и Коминтерна, предпринял попытку сместить главнокомандующего китайской армией Чан Кайши. По его указанию в Шанхае под руководством КПК началось формирование отрядов китайской Красной гвардии с целью организации вооруженного восстания, провозглашения революционного правительства и создания китайской Красной Армии. Чан Кайши начал наступление на Шанхай. 12 апреля 1927 года Шанхай был взят его войсками, начавшееся восстание потоплено в крови, а 28 апреля были арестованы и казнены 25 руководителей компартии Китая. В результате советско-китайские отношения резко ухудшились. В апреле 1927 года по указанию Чан Кайши был проведен обыск в советском консульстве в Пекине, во время которого полиция изъяла большое количество документов, в том числе шифры, списки агентуры и поставок оружия КПК, инструкции китайским коммунистам по оказанию помощи советским представителям в разведработе. Обострилась и обстановка в Маньчжурии в районе Китайско-Восточной железной дороги (КВЖД). а против сотрудников советского консульства в Харбине постоянно устраивались провокации. Фактический правитель северо-восточных провинций Китая генерал Чжан Цзолинь занял прояпонскую позицию, всячески притесняя советских служащих КВЖД.

Эйтингон к 1927 году, после недолгой работы заместителем резидента в Шанхае и резидентом в Пекине, возглавил именно харбинскую резидентуру. Его предшественниками были известные разведчики Федор Яковлевич Карин и Василий Михайлович Зарубин.

Эйтингон — Наумов принял на связь ряд ценных агентов. Одним из них был бывший офицер царского адмиралтейства, служивший на Амурской флотилии, Вячеслав Иванович Пентковский, с 1924 года вместе с женой добровольно работавший на советскую разведку. Выпускник Петроградской практической восточной академии и юридического факультета университета, хорошо изучивший китайский язык, Пентковский получил китайское гражданство и поступил на службу в харбинский суд, где, имея доступ к важной информации, передавал ее советской разведке.

Важным агентом был также «Осипов», завербованный в 1928 году, работавший в японской жандармерии шофером, а затем сотрудником особого (политического) отдела жандармерии, работавшего против советских учреждений. В 1929 году при помощи «Осипова» сотрудникам резидентуры удалось подбросить японцам документы, из которых следовало, что 20 их агентов подали заявление о восстановлении их в советском гражданстве. В результате все они были ликвидированы самими японцами. «Осипов» до 1938 года работал на советскую разведку.

В 1927 году был завербован советской разведкой бывший офицер-каппелевец и полковник китайской армии, сотрудник белоэмигрантских организаций «Братство русской правды», «Дружина русских соколов» «Браун», от которого в резидентуру поступала информация о попытках японцев сформировать при помощи атамана Семенова казачьи части для будущей войны против СССР.

Характер работы харбинской резидентуры в 20-е годы против Японии может быть определен по докладу Карина начальнику ИНО ОГПУ Трилиссеру (1925 год):

«Резидентура ИНО ОГПУ в Северной Маньчжурии с центром в Харбине… ведет регулярную и систематическую работу по перлюстрации дипломатических и других секретных почт целого ряда японских учреждений. Японский Генеральный штаб, военные японские миссии в Китае, японские армии в Квантунской области (Порт-Артур), Корее (Сеул), Китае (Тяньцзынь) и другие вошли в сферу действия нашей разведки».

Во времена работы Эйтингона эти задачи вряд ли успели стать неактуальными.

В 1928 году советские разведчики в Харбине под руководством Эйтингона сумели получить информацию о переговорах союзника Чжан Цзолиня, лидера мукденской группы «провинциальных милитаристов» Чжан Сюэляна с японцами о создании в Северо-Восточном Китае «Независимой Маньчжурской республики» на территории Маньчжурии и Внутренней Монголии, под протекторатом Японии, с присоединением Внешней Монголии.

Такие планы угрожали советским интересам. Существует версия, что в 1928 году в Москве было решено ликвидировать Чжан Цзолиня, что и осуществили Эйтингон и руководитель нелегальной резидентуры Разведупра РККА в Харбине Христофор Салнынь («Гришка»), переведя все подозрения на японцев.

4 июня 1928 года на железнодорожном перегоне Пекин-Харбин специальный вагон, в котором ехал Чжан Цзолинь, был взорван. Взрывчатка была заложена в виадуке Южно-Маньчжурской железной дороги около Мукдена. Чжан Цзолинь был тяжело ранен в грудь и через несколько часов скончался в Мукденском госпитале. Кроме него во время взрыва погибло еще 17 человек, в том числе и генерал У Цзяншен. В связи с тем, что железнодорожный узел на стыке Пекин-Мукденской и Южно-Маньчжурской железных дорог вблизи Мукдена охранялся не китайскими, а японскими солдатами, все посчитали, что покушение было организовано японцами.

Исследователи спецслужб до сих пор окончательно не установили, кто «убрал» маньчжурского диктатора, хотя Международный трибунал над военными преступниками в Токио после второй мировой войны счел виновными руководителей японского правительства и армейской верхушки.

Однако ликвидация Чжан Цзолиня не привела к изменению ситуации в Маньчжурии. 27 мая 1929 года китайскими властями был произведен обыск в советском консульстве в Харбине, после чего Эйтингон был отозван в Москву.

Ситуация на КВЖД ухудшалась. В результате 17 июля 1929 года советское правительство заявило о разрыве дипломатических отношений с гоминьдановским правительством. После этого легальные резидентуры ИНО и военной разведки в Китае фактически прекратили свою деятельность. Впрочем, в 1928–1931 годах в Маньчжурии успешно работала нелегальная резидентура разведотдела полпредства ОГПУ по Дальневосточному краю во главе с Борисом Богдановым.

В Китае Эйтингон подружился с многими известными военными разведчиками — Христофором Салнынем, Иваном Винаровым (с ними он вместе работал в Пекине и Шанхае). Существует свидетельство П. А. Судоплатова, что Эйтингон и Винаров «вступили в контакт с Зорге в Шанхае в конце 20-х годов». Иван Винаров впоследствии упомянул в своей книге «Бойцы тихого фронта», изданной в Софии в 1969 году, «присланного в Харбин из управления разведчика Леонида Эйтингона». Учитывая, в каких сложных обстоятельствах находился в то время Эйтингон, этот факт нельзя не признать поступком.

Работа молодого разведчика в Китае была отмечена в 1927 году первым его орденом — Красного Знамени.

Весной 1929 года Эйтингон был направлен в Турцию, где сменил своего бывшего шанхайского руководителя Якова Минского в должности легального резидента в Константинополе, действуя под прикрытием атташе консульства Наумова Леонида Александровича (оперативный псевдоним «Бур»), После того как по решению советского руководства с целью поддержания дружеских отношений с турецким правительством Кемаля Ататюрка работа советской разведки против турок была прекращена, центром резидентуры ИНО в Турции стал Стамбул (Константинополь). Именно там добывалась секретная информация в посольствах Японии, Франции (в частности, переписка военного атташе) и Австрии. Помощниками нового резидента были Бржезовский (возможно, сотрудник ИНО Генрих Бржозовский) и Петр Зубов («Гришин»).