Главным для советских разведчиков стала работа против ФРГ, других западных стран и НАТО.

Руководство МГБ ГДР и его Главное управление разведки постепенно начало меньше делиться с Лубянкой полученной ценной информацией. Этот процесс в восьмидесятых годах еще более усилился.

Демократическая перестройка в Советском Союзе, которая привела к объединению Германии, положила конец суперрезидентуре секретных служб Кремля в Карлсхорсте.

После возвращения в Москву, 23 марта 1957 г. Е.П. Питовранов возглавил 4-е (Секретно-политическое) управление и вошел в состав Комитета госбезопасности при СМ СССР. В декабре того же года к 40-летию органов ВЧК-КГБ он был награжден знаком «Почетный сотрудник госбезопасности».

Этот период отмечен возобновлением арестов по политическим мотивам после почти полного их прекращения в начале «оттепели» (1953–1956). Аресты в московских и ленинградских студенческих кружках в конце 1956–1957 гг. последовали после событий в Польше и Венгрии.

Согласно принятому «Положению о Комитете государственной безопасности при Совете Министров СССР и его органах на местах» (утвержденному Президиумом ЦК КПСС 9 января 1959 г.), в задачи КГБ входила также «борьба с враждебной деятельностью антисоветских и националистических элементов внутри СССР», чем и занимались сотрудники 4-го управления. После 5 февраля 1960 г., когда ЦК КПСС и Совет Министров СССР приняли постановление «О внесении изменений в структуру Комитета государственной безопасности при Совете Министров СССР и его органах на местах и сокращении их численности», 4-е управление КГБ было включено в состав 2-го главного управления КГБ. Работой против «враждебных элементов» в контрразведке руководил теперь заместитель начальника 2-го ГУ (с 1961 г.) Филипп Денисович Бобков (впоследствии 1-й заместитель председателя КГБ СССР, генерал армии).

Питовранов 20 февраля 1960 г. был освобожден от должности и переведен в распоряжение Управления кадров КГБ. Его кандидатура ранее обсуждалась для назначения на посты начальника военной разведки — ГРУ (об этом, по словам самого Евгения Петровича, ходатайствовал Серов, но сам был назначен начальником ГРУ после ухода из КГБ в декабре 1958 г.) и председателя КГБ (по свидетельству Ф.Д. Бобкова). В итоге 5 марта 1960 г. он был направлен в Пекин руководителем Аппарата представительства КГБ при внешней разведке КНР. Его предшественник, генерал-майор Владимир Иванович Вертипорох скоропостижно скончался (есть версия о его отравлении китайскими спецслужбами). Уже 18 февраля 1961 г. Питовранов был отозван в распоряжение КГБ. Подробности его работы в Поднебесной в период ухудшения советско-китайских отношений до сих пор неизвестны.

С 27 февраля 1962 г. Питовранов возглавлял Высшую школу КГБ при СМ СССР им. Ф.Э. Дзержинского и ее Совет. Работая в этом качестве, он способствовал разработке теории контрразведывательного искусства, при нем в «Вышке» появилась первая ЭВМ. Примечательно, что и сам он 29 мая 1964 г. он заочно окончил Высшую партийную школу при ЦК КПСС (философское отделение).

14 декабря 1965 г. решением Секретариата ЦК КПСС Питовранов был освобожден от работы в органах КГБ и 1 февраля 1966 г. уволен в запас по статье 59 пункт «В» (сокращение штатов). Причины такого решения не совсем ясны. Возможно, это связано с борьбой различных группировок в руководстве КГБ в тот период.

После увольнения Питовранова в отставку в 1966 г. он при содействии старого друга Бориса Семеновича Иванова, ставшего к тому времени первым заместителем начальника ПГУ КГБ, становится заместителем председателя, в 1977 г. — первым заместителем председателя, в 1983 г. — председателем президиума Торгово-промышленной палаты СССР.

На новой работе Питовранов не забывал о деле всей своей жизни. Вскоре его потенциал был востребован, при помощи того же Иванова. Рассказывает А.В. Киселев:

«С приходом в 1967 г. в КГБ Ю.В. Андропова Борис Семенович, заручившись поддержкой начальника внешней разведки A.M. Сахаровского, увлек Председателя КГБ предложенной Питоврановым идеей активизации разведывательной работы с позиций торгово-экономических кругов.

Их первая личная встреча состоялась в сентябре 1969 г. на одной из городских конспиративных квартир. Продолжалась она, против обыкновения, несколько часов. Внимательно выслушав Питовранова, Юрий Владимирович не только дал принципиальное согласие на реализацию проекта, но выразил пожелание лично участвовать в этой работе.

По рекомендации Председателя Евгений Петрович своим размашистым, или, как говорили коллеги, «готическим» почерком составил «Докладную» в адрес Л.И. Брежнева, Н.В. Подгорного и А.Н. Косыгина, занимавших высшие партийные и государственные посты. Их согласие поступило в считанные дни».

О встрече с Андроповым Питовранов позднее вспоминал — они беседовали о «работе органов на местах, в Центре, как Центр руководит местными органами, как координируется работа разведки и контрразведки — в общем была обзорная беседа о том, как и чем живет Комитет госбезопасности.

— Ты пойми, — говорил Андропов, — я к этим делам мало имел отношения. Имел, но со стороны. Мне тебя отрекомендовали как опытного и умного человека, вот я и решил поговорить.

Я считал Андропова одним из самых сильных руководителей ЦК, но в деле госбезопасности тогда он был новичок и хотел во все вникнуть. Конец беседы был неожиданным для меня. Андропов сказал:

— Мне известно, что у товарища Сталина твердо сидела в голове мысль о том, что нам нельзя ограничиваться той структурой разведывательной работы, которая существует на сегодня. Должны быть какие-то возможности перепроверки данных, получаемых по линии разведки КГБ, по линии ГРУ. Нужно какое-то дополнение к тому, что они делают. Так, чтобы это было и конспиративно, и полезно для государства. Подумай над тем, какую структуру, параллельную существующим органам госбезопасности, можно было бы предложить. Но прежде всего нужно все взвесить, обдумать и решить принципиально, стоит это делать или не стоит».

В «Фирму» (так стала называться новая структура) Питовранов стремился привлечь сотрудников госбезопасности. «Из Высшей школы КГБ он пригласил заведующего одной из оперативных кафедр Николая Николаевича Князева, поручив ему, по согласованию с председателем правления ТПП Б. А. Борисовым, все кадровое хозяйство многотысячного коллектива. В «Фирме» ему отводилась роль заместителя по контрразведке. Разведывательное направление он предложил одному из своих советников по Берлинскому аппарату Хачику Геворковичу Оганесяну. Тот был во временной опале за бытовое прегрешение, но Евгению Петровичу удалось его отстоять: он обладал разносторонним разведывательным опытом, гибким, изобретательным умом и высокой работоспособностью, что в условиях «Фирмы» имело особое значение».

Сам Питовранов говорил о своей новой работе: «Моя новая задача, состояла в том, чтобы найти десятка два человек, на которых можно было положиться. Я их нашел. Я не снимал этих людей с их места работы во внешторговских структурах, а просто включал в свою орбиту, нацеливал на дополнительные вопросы. Они стали переключаться с конкретных коммерческих операций на серьезные и перспективные оперативные дела. Мы должны были работать стерильно чисто. Ни в коем случае нельзя было допустить того, что кого-то из нас схватят за руку. Мировой скандал будет. Мы опозорим страну, запятнаем навсегда Торгово-промышленную палату, дадим пищу нашим идеологическим и военным противникам. Поэтому я учил ребят: суют тебе шифр — не бери. Тебе предлагают информацию семь верст до небес и все лесом, а ты не слушай никого, никаких документов не бери. Живи своей головой: что у тебя в ней задержалось, о том и доложи, не задержалось — не ври».

В разведке делами «Фирмы» занимался генерал Иванов. По его предложению к работе в новом отделе был подключен сотрудник ПГУ Александр Киселев, благодаря которому мы знаем подробности этой истории.

Все организационные вопросы решались сотрудниками отдела «Ф» с помощником председателя КГБ Евгением Ивановичем Калгиным. «Оперативные, информационные и прочие, принципиально важные», по словам Б.С. Иванова, вопросы докладывались лично Юрию Владимировичу Андропову.