В академии на одном факультете вместе с Эйтингоном учились будущие видные советские военачальники. Среди них был будущий военный советник в Китае, герой Великой Отечественной, командующий 62-й армией в Сталинграде маршал Советского Союза Василий Иванович Чуйков. Главный маршал авиации Александр Евгеньевич Голованов, вопреки утверждениям некоторых авторов, в то время в Военной академии (которую он окончил в 1950 году, а в 1924 году работал в Особом отделе ОГПУ, откуда и пришел в авиацию) не учился, тем более на восточном факультете.

На восточном факультете будущие разведчики изучали как общие военные и общественные дисциплины, так и специализированные, в основном языковые, курсы. Экзаменаторы досконально знали предметы. Так, у Владимира Алексеева экзамен по японскому языку принимал Сэн Катаяма, председатель компартии Японии, член исполкома Коминтерна. Алексеев по окончании академии отправился совершенствовать знания в Токио. К этому времени Алексеев и Эйтингон уже были переведены (в октябре 1925 года) из Восточного отдела в Иностранный отдел, входивший в то же Секретно-оперативное управление ОГПУ и находившийся в том же здании на Лубянке. Еще раньше туда перешел их начальник Михаил Казас, к этому времени уже ставший резидентом ИНО в Тегеране.

Переход бывших гомельских чекистов совпал с постепенным сужением функций Восточного отдела. Уже в марте 1926 года приказом ОГПУ «разработка государственного шпионажа» со стороны Турции, Персии, Афганистана и Монголии были переданы в ведение Контрразведывательного отдела ОГПУ, а борьба с антисоветскими партиями Закавказья в Секретный отдел ОГПУ. После ухода в октябре 1929 года Петерса и недолгого руководства отделом Торичана Дьякова в сентябре 1930 года Восточный отдел был включен в состав новообразованного Особого отдела ОГПУ, объединившего военную и общую контрразведку.

Иностранный отдел, созданный 20 декабря 1920 года, к этому времени более трех лет возглавлял Меер (Михаил) Абрамович Трилиссер, старый большевик, участник гражданской войны. Современные историки считают его фактическим основателем советской внешней разведки. Именно при нем сформировались основные направления, формы и методы работы советских разведчиков за рубежом. При Трилиссере было принято положение об ИНО. Задачи разведки определялись следующим образом:

— выявление на территории иностранных государств контрреволюционных организаций, ведущих подрывную деятельность против СССР;

— установление за рубежом правительственных и частных организаций, занимающихся военным, политическим и экономическим шпионажем;

— освещение политической линии каждого государства и его правительства по основным вопросам международной политики, выявление их намерений в отношении СССР, получение сведений об их экономическом положении;

— добывание документальных материалов по всем направлениям работы, в том числе таких, которые могли бы быть использованы для компрометации как лидеров контрреволюционных групп, так и целых организаций;

— контрразведывательное обеспечение советских учреждений и граждан за границей (до 1926 года эти функции выполнял Контрразведывательный отдел ОГПУ представители которого находились в советских дипломатических представительствах за границей, затем они перешли в ИНО).

Аппарат ИНО в период руководства Трилиссера достиг общей численности в 122 человека, из которых 62 человека работали в резидентурах за рубежом. Положение Трилиссера укрепляло совмещение его руководства разведкой с постом заместителя председателя ОГПУ (это был первый случай в истории разведки). Заместителями (помощниками) в ИНО в тот период были его соратник по дореволюционному подполью Владимир Владимирович Бустрем (Алексей Васильевич Логинов) и Сергей Георгиевич Вележев, которого Трилиссер знал по гражданской войне в Сибири. Аппарат ИНО включал в себя закордонное отделение с канцелярией, бюро виз, стол выездов, стол въездов, стол въездов и выездов эшелонами, стол приема заявлений, общую канцелярию, то есть в основном чисто бюрократические структуры (как видим, аппарат разведки выполнял в то время функции современного ОВИРа).

Наиболее важной частью ИНО было закордонное отделение, ведавшее разведкой за рубежом с легальных и нелегальных позиций. Первоначально было шесть географических секторов, которые должны были заниматься агентурной работой за рубежом. Позднее сектора стали называться отделениями, а их число увеличивалось по мере появления новых зарубежных резидентур.

В конце 1925 года Эйтингон выехал в свою первую заграничную (и долгосрочную) командировку — в Китай. Перед отъездом состоялась встреча, о которой он сам рассказал через полвека, в середине 70-х годов, в письме члену Политбюро ЦК КПСС, председателю КГБ СССР Юрию Владимировичу Андропову:

Китай начала 20-х годов был сплошным узлом противоречий. Центральное правительство во главе с лидером партии Гоминдан Сун Ятсеном, пришедшее к власти после революции 1911 года, контролировало только несколько провинций на юге страны. Фактически же Китай был раздроблен на многочисленные полунезависимые территории, где власть принадлежала китайским генералам, которых еще называли «военными лордами» или «провинциальными милитаристами».

Советское правительство стремилось наладить хорошие отношения с демократическими, антиколониальными силами в Китае. В 1923 году Сун Ятсен и советский дипломат Адольф Иоффе подписали первое советско-китайское соглашение. В помощь гоминдановскому правительству в Гуанчжоу (Кантон) была направлена группа советских политических советников под руководством старого большевика Михаила Бородина (Грузенберга). Тогда же Москву посетила делегация Гоминдана, которую возглавлял Чан Кайши. 31 мая 1924 года в Пекине было подписано соглашение «Об общих принципах урегулирования вопросов между СССР и Китайской республикой». 20 сентября 1924 года, в Мукдене был заключен договор с властями, осуществляющими фактический контроль в Северо-Восточном Китае, ставший частью пекинского соглашения. А уже в конце сентября согласно достигнутым договоренностям Советский Союз предоставил Китаю заем в 10 млн. юаней и начал поставлять оружие для формирующейся Народно-революционной армии Китая. С октября 1924 года в Китае работали советские военные советники. Всего же в период с 1924 по 1927 год в Китае работало до 135 советских военных советников, которыми руководили такие известные военачальники как Павел Павлов (утонул в реке в 1924 году), Василий Блюхер, Николай Куйбышев и другие.

Сотрудничеству мешало нахождение на территории Китая большого числа белогвардейцев, ранее воевавших против Красной Армии. Особенно много их было в Маньчжурии, находившейся под контролем китайского генерала Чжан Цзолиня. Действовало множество белогвардейских организаций — монархическое «Богоявленское братство», «Комитет защиты прав и интересов эмигрантов», «Мушкетеры», «Черное кольцо», «Голубое кольцо», вооруженные отряды Анненкова, Глебова, Нечаева, Семенова и других, ставившие своей целью вооруженную борьбу с советским государством. Главными целями советской разведки в Китае были белоэмигранты и японские спецслужбы.

Первая легальная резидентура ИНО ВЧК в Китае была создана в Пекине под прикрытием советской дипломатической миссии в начале 1921 года во главе с Аристархом Ригиным, работавшим под псевдонимом Рыльский. Под его руководством начала создаваться агентурная сеть и региональные резидентуры в других городах, которых вскоре насчитывалось около десяти. В 1922 году Ригина в Пекине сменил Яков Христофорович Давтян, первый начальник ИНО ВЧК, который стал главным резидентом в Китае (до конца 1924 года). В 1925 году новым главным резидентом ИНО ОГПУ в Китае был назначен помощник начальника ИНО Сергей Вележев, работавший в Пекине под псевдонимом Ведерников.