С 1920 по 1922 год работал на Кавказе в качестве уполномоченного, а затем начальника отделения Особого отдела Батумского укрепрайона. В 1922 году откомандирован в Тифлис, а затем в Кутаиси на должность начальника отделения Закавказской ЧК.

Гражданская война в России закончилась, однако разбитые белогвардейцы, нашедшие убежище в различных странах Западной Европы, в Турции, на Балканах, в Маньчжурии и других краях, мечтали об организации «крестового похода» против Советской России. Поэтому с начала 1920-х годов первостепенное значение в работе Иностранного отдела ГПУ – ОГПУ отводилось борьбе с белогвардейской эмиграцией.

В разведке не хватало грамотных кадров, хорошо знакомых с работой, владевших иностранными языками. В 1922 году Андрея Федорова как чекиста, располагавшего большим опытом работы по белогвардейцам, перевели в центральный аппарат ГПУ, где он вначале работал секретным сотрудником по загранице, а затем начальником отделения контрразведывательного отдела. В этой должности оставался до 1933 года. Являлся активным участником операций «Трест» и «Синдикат-2».

В 1922 году перед Федоровым была поставлена задача по пресечению контрреволюционной деятельности возглавляемого известным террористом Борисом Савинковым «Народного союза защиты Родины и свободы». В разработанной под руководством Ф.Э. Дзержинского операции «Синдикат-2» ему отводилась одна из главных ролей.

Выступая в рамках реализации операции «Трест» в качестве руководителя легендированной чекистами подпольной антисоветской организации «Либеральные демократы», Федоров неоднократно по заданию ГПУ выезжал в Париж к Б. Савинкову, встречался с активистами его организации, а также с британским разведчиком С. Рейли.

Одновременно, выезжая по заданию Дзержинского в Польшу, Федоров встречался с сотрудниками военной разведки этой страны, которых снабжал специально подготовленной в Москве военно-политической дезинформацией об СССР и его вооруженных силах.

В ходе одной из встреч с Рейли последний, «прощупывая» курьера из Москвы, как бы ненароком заговорил о предстоящей поездке Савинкова в Россию и обмолвился, что и сам бы не прочь туда наведаться. Примерно в это же время такая же информация о намерении Рейли нелегально посетить Москву поступила и от другого советского разведчика – Николая Крошко («Кейта»).

Дзержинский, которому об этом разговоре доложил Федоров, решил из операции «Трест» выделить работу по Борису Савинкову в отдельную линию. Она получила кодовое название «Синдикат-2». Отныне главной задачей Федорова стала работа против этого знаменитого террориста.

Как уже отмечалось, в 1920-е годы вооруженная белогвардейская эмиграция рассматривалась советской внешней разведкой в качестве основного противника, готовящего вооруженную интервенцию в нашу страну. Оказавшись за границей в результате поражения в Гражданской войне, части белой армии не рассеялись, а постарались сохранить свою организованность и сплочение. В ноябре 1920 года из Крыма в Турцию прибыло 170 тысяч человек, в основном остатки армии генерала Врангеля. Вскоре к ним присоединились и беженцы из России. В результате только в Турции оказалось свыше 300 тысяч наших бывших соотечественников.

Поскольку в армии Врангеля, оказавшейся за границей, числилось в то время от 70 до 100 тысяч активных штыков, она представляла собой грозную силу. Англия и Франция опасались, что армия Врангеля может захватить Стамбул и Проливы, так как турецкая армия, согласно Версальским мирным договорам, была разоружена. По решению Антанты русские эмигранты из Турции направлялись в Балканские страны, Чехословакию, Францию. Другой путь эмиграции лежал через Польшу в Германию, Бельгию и Францию. Часть эмигрантов осела в Финляндии.

Таким образом, в начале 1920-х годов во многих европейских городах образовались центры русской эмиграции, в том числе остатки бывших воинских формирований белой армии. Основным координатором их являлся расквартированный в Сербии штаб «Объединенной Русской армии» (ОРА) во главе с генералом Врангелем. В сентябре 1924 года на базе ОРА был создал Русский общевоинский союз (РОВС). Фактически это была Русская армия за границей, располагавшая своими гарнизонами, складами, вооружением и даже военными академиями, училищами и кадетскими корпусами. В руководство РОВС вошли генералы Кутепов, Шатилов, Туркул, Гершельман, Климович и Скоблин.

Генерал Врангель весьма ревниво относился к попыткам других политических эмигрантских сил установить контроль над армией. Когда к нему вскоре после прибытия в Турцию пожаловали представители парижской эмиграции В. Бурцев, А. Карташов, А. Хрипунов и другие лица, предложившие Врангелю создать национальное правительство в изгнании, в ведении которого перешли бы все политические вопросы и заботы об армии, генерал отказался поставить армию под контроль этого «правительства». Он заявил: «Я с армией воевал, я ее вывез, я с нею буду делить радости и горе – о ней буду заботиться и никому не позволю притронуться к ней даже пальцем».

Врангель и его сподвижники всерьез считали, что большевики долго у власти не удержатся, и поэтому налаживали контакты с антибольшевистским подпольем в СССР с целью подготовки восстания. Кровавые набеги на территорию Советской Республики совершали с территории Польши банды Петлюры, Скоропадского, Булак-Балаховича, Тютюника и Павловского.

Большую опасность для Советского государства представляла также террористическая деятельность белогвардейцев. В 1923 году белогвардейцы Конради и Полунин убили генерального секретаря советской делегации на Лозаннской конференции В. Воровского. В 1927 году представители военной белой эмиграции предприняли попытку взорвать здание советского полпредства в Варшаве, заложив в дымоход бомбу.

В марте 1927 года в Териоки, на советско-финской границе, состоялось совещание террористов, на котором присутствовал генерал Кутепов. Он заявил о необходимости «немедленно приступить к террору». Вечером 7 июня 1927 года группа диверсантов, пришедшая из Финляндии, бросила бомбу во время заседания партийного клуба в Ленинграде. Было ранено 30 человек. Белогвардейские офицеры, совершившие теракт, были задержаны и предстали перед судом.

Руководство советской внешней разведки сделало вывод о том, что главную угрозу для нашей страны представляет РОВС, и приняло меры по его разложению и дискредитации. Эта напряженная работа советских разведчиков и контрразведчиков не прекращалась до начала Второй мировой войны.

Врангель делал ставку на террор и диверсии в борьбе против советской власти. В Париже, где находилась штаб-квартира РОВС, а также во всех его филиалах (Прага, София, Варшава, Хельсинки) готовились офицерские террористические группы для заброски на территорию Советского Союза. Эта работа проводилась в тесном контакте со спецслужбами Франции, Польши, Румынии и Финляндии.

Первым серьезным ударом по РОВС была осуществленная чекистами под руководством А. Артузова операция «Трест». Это название операция получила в связи с переходом советской власти от «военного коммунизма», вызванного разрухой и Гражданской войной, к новой экономической политике – НЭПу, когда в нашей стране стали возникать всякого рода тресты, картели, синдикаты. Решение чекистов провести подобную операцию родилось при следующих обстоятельствах.

В конце мая 1921 года в Германии открылся съезд русских монархистов, на котором присутствовали делегаты из разных стран. После бурных дебатов они избрали Высший монархический совет во главе с бывшим членом Государственной думы Н.Е. Марковым-вторым, известным черносотенцем. Самая многочисленная часть монархистов, включая Маркова-второго и генерала Врангеля, ориентировалась на двоюродного дядю императора Николая II – великого князя Николая Николаевича, Верховного главнокомандующего Русской армией в начальный период Первой мировой войны. Руководители монархистов понимали, что, не имея поддержки внутри Советской России, они не смогут добиться свержения большевиков. Кроме того, наличие тайной антибольшевистской организации в России позволило бы им рассчитывать на финансовую и материальную помощь со стороны Антанты.