В 1982 году, спустя пару недель после смерти Леонида Брежнева и прихода к власти Андропова, Калугину сообщили, что летом следующего года он направляется в Москву на краткосрочные курсы для руководящего состава. У него затеплилась надежда, что его «ангел хранитель»  Андропов, ставший руководителем партии и советского государства, наконец-то вернет его в Москву, назначит на высокую должность в КГБ. По управлению вновь поползли слухи о замене Носырева Калугиным в ближайшее время. Но ожидания не оправдались. За неделю до окончания курсов Калугина вызвали в Управление кадров и неожиданно предложили перейти на преподавательскую работу в Высшую школу КГБ в Москве.

— Я не мог поверить своим ушам! Высшая школа была тупиком. Несмотря на сильное давление, я отказался. Обратился к заместителю председателя КГБ Филиппу Бобкову и напомнил, что Андропов обещал вернуть меня в Москву через два года. Сейчас осень 1983 и я отбыл свой срок в Ленинграде. Просил Бобкова передать новому председателю Виктору Чебрикову, что хотел бы с ним переговорить. Бобков ответил, что Чебриков сможет меня принять, но несколько позднее, — написал Калугине в своей книге.

Вернувшись в Ленинград, через несколько недель он позвонил Бобкову и напомнил об обещанной встрече.

— Чебриков хочет увидеть тебя, позвони в декабре, — ответил Бобков.

Следующий звонок Калугина у Бобкова раздался в январе 1984 года, и он вновь получил неутешительный ответ:

— Подожди немного. У нас много дел и твое — не первой важности, — сухо ответил Бобков. Калугин не отступал:

— Сколько мне ждать? Я хочу, чтобы меня приняли.

— Не знаю, не знаю, — коротко в ответ бросил Бобков и положил трубку.

После предложения перейти на преподавательскую работу и неприятных и ничего не обещающих разговоров с заместителем председателя Калугин окончательно понял, что его карьера в Центре закончилась, и он никогда не будет переведен в Москву на достойную должность.

9 февраля 1984 года умирает Генеральный секретарь ЦК КПСС Андропов. Это известие ввергло Калугина в глубокую депрессию. Те небольшие надежды, которые он еще питал, рухнули. Многие ленинградские сослуживцы рассматривали Калугина как выдвиженца Андропова. Такое мнение о себе он всячески поддерживал и усиливал своими рассказами в ближайшем окружении о неоднократных встречах и якобы даже задушевных беседах с Андроповым. Теперь, после ухода Андропова из жизни, мифическая аура Калугина также ушла в небытие. Мало кого интересовало, а тем более влияло на отношение к нему, что бывший руководитель, может быть, когда-то неплохо относился к бывшему генералу разведки. Андропов действительно назначил Калугина руководителем управления внешней контрразведки ПГУ, присвоил звание генерал-майора, поддерживал его начинания по расширению службы и ждал конкретных результатов. Лишь в 1979 году в связи с делом Кука он согласился с мнением руководителя московских чекистов Алидина, что Калугин является агентом ЦРУ.

С этого времени отношение к Калугину Андропов резко изменил, формально использовал случай с сауной для перевода в Ленинград. Все выглядело естественно, и Калугин верил еще в свое прощение, хотя допускал, что он может подозреваться в шпионаже и Андроповым. Зная Председателя как весьма строгого руководителя, такие мысли он прогонял от себя, полагая, что тот не стал бы держать его в кадрах КГБ и нашел бы пути справиться с ним. Но он также твердо знал и верил, что Андропов не пойдет на нарушение законов, не станет его арестовывать, не имея для этого веских юридических оснований. Поэтому самым главным являлось не выходить без особых причин на любые контакты с американской разведкой, проводить односторонние тайниковые операции от себя — исключительно в крайнем случае, тем более не допускать личных встреч и не иметь при себе каких-либо вещественных доказательств, то есть не дать контрразведке даже малейших оснований для реализации подозрений в шпионской деятельности.

Смерть Андропова четко определила его будущее — возврата в Центр нет, в Ленинграде перспективы роста нулевые, только одни неприятности от Носырева, с которым явно не сложились отношения. Разведывательные возможности для ЦРУ по работе в ленинградском управлении слабые. Передачу малоценных материалов никто в Лэнгли не будет приветствовать и просто это ему запретят. Самому излишний риск тем более не нужен. Встал обычный в трудных ситуациях вопрос: Что делать? Временное решение пришло — посвятить жизнь себе и семье. Он участил поездки в Москву, где встречался с друзьями из КГБ и проводил время в кругу семьи. Были и другие выезды. Вскоре появились и новые интересы.

В 1983 году возвратился из Канады в Союз, где с 1972 года пребывал в качестве посла СССР, его старый друг Александр Яковлев. Он сумел подружиться с Секретарем ЦК КПСС по сельскому хозяйству Михаилом Горбачевым, когда тот посещал Канаду в 1983 году. С помощью Горбачева Яковлев сразу же получил в Москве престижное место — директора академического Института мировой экономики и международных отношений.

Дружба Калугина и Яковлева, как уже известно читателю, началась в 1959 году с их совместного пребывания в Колумбийском университете в Нью-Йорке.

Яковлев, как уверены некоторые бывшие сотрудники КГБ, был тогда завербован ФБР в качестве агента на антисоветской основе. Когда органам госбезопасности в 1960 году стало известно о его несанкционированном контакте с американцами, он объяснил это стремлением получить секретные материалы из американских библиотек и от ученых. «Инициатива Яковлева не была поддержана представителями нашей службы безопасности и дальнейшего развития, будем считать, не получила. Никаких претензий к Яковлеву предъявлено не было».

Сам Яковлев все вышесказанное будет отрицать:

— Все разведки мира одинаковы — «интересуются», прежде всего, теми, кого можно на чем-то подловить: на выпивках, женщинах и тому подобном. Что касается меня, то это был заведомо не тот случай.

Бывший заведующий общим отделом ЦК КПСС, руководитель аппарата президента СССР Горбачева Валерий Болдин писал:

— Яковлев, вернувшись в Москву из Канады, рассказывал, что во время учебы в Колумбийском университете, роясь в библиотеках, встречаясь с американскими учеными, добывал такую информацию и отыскивал такие ее источники, за которыми наша агентура охотилась не один год.

Бытует молва в сведущих чекистских кругах о том, что Калугин, как сотрудник КГБ, отвечавший за безопасность группы из четырех человек стажировавшихся в университете в Нью-Йорке, узнал о тайной связи американцев с Яковлевым, но скрыл это от резидентуры.

Калугину было известно, что Яковлев с 1953 года в возрасте двадцати девяти лет стал работать инструктором ЦК КПСС по идеологической линии, являлся слушателем Академии общественных наук при ЦК КПСС и готовил докторскую диссертацию. Рассматривался как перспективный партийный работник. Заполучить такого «друга» и иметь на него серьезный компрометирующий материал было мечтой Калугина — всегда можно рассчитывать на поддержку.

Весьма характерен для понимания этой ситуации и личности Калугина еще один бесчестный поступок, внешне выглядевший вроде бы оправданным. По возвращении в Москву он написал докладную записку о нарушении дисциплины во время совместного пребывания в Нью-Йорке его другом и коллегой по разведке Геннадием Бехтеревым, который якобы имел связи с американками, излишне выпивал, поддерживал несанкционированные подозрительные контакты и допускал другие негативные поступки. Бехтерев был наказан, ему закрыли выезд за границу. Ни в чем другом он обвинен не был. Такой упреждающий прием по отвлечению внимания от себя и переводу подозрений на другого весьма типичен для людей с нечистой совестью. Распознать его можно, но оправдаться подчас сложно, он может основываться на частично правдивых сведениях, хотя в целом является обманом и подлостью.