Что случилось с приглашением, неясно. Палссон утверждает, что оно было, но Фишер никак не мог решить вопрос с датой: «Бобби знал, что мне хотелось попасть в Белый дом. Он должен был отослать список гостей и сказал: "Ты в списке самый первый". Я спросил, когда же мы идём. Он, как обычно, откладывал». Ценность этой встречи для президента с каждым днем становилась всё ниже. Почти через тридцать лет разгневанный Фишер ворчал: «Меня никогда не приглашали в Белый дом. Они пригласили эту олимпийскую русскую гимнастку — маленькую коммунистку Ольгу Корбут».
Трёх месяцев в Штатах Палссону вполне хватило. Его семья не хотела переезжать в США, а он скучал по дому. Наконец он сказал Фишеру, что должен улетать; исландская авиакомпания купила ему билет на родину. Фишер примчался к своему другу в аэропорт и спросил: «Ты действительно оставляешь меня?» Ощутив некоторые угрызения совести, Шахматная федерация США нашла 500 долларов на оплату трудов Палссона: он пробыл с Фишером целых пять месяцев, так что каждый день стоил три доллара.
На несколько месяцев Фишер исчез из поля зрения публики, появившись только в конце 1972 года на турнире «Жареные цыплята». Турнир проходил в Сан-Антонио, в Техасе, и финансировался Джорджем Чёрчем, сколотившем состояние на продаже жареных цыплят. Туда приехали несколько лучших игроков мира, а вот Фишера играть не пригласили. Один из организаторов объяснял это так: «Опасались, что для оплаты участия Бобби потребуется весь бизнес мистера Чёрча». Однако его позвали в качестве почётного гостя, выделив частный самолёт. Разумеется, он опоздал, задержав начало тура на пятнадцать минут.
Кульминацией турнира было соперничество между армянским ветераном Тиграном Петросяном, венгерским ветераном Лайошем Портишем и худосочным 21 -летним русским. Анатолий Карпов был надеждой советских чиновников, хотя они тревожились за его физическую выносливость. Он весил около 48 килограммов и выглядел так, словно сил у него хватало лишь на то, чтобы оторвать от доски фигуру не тяжелее пешки. Однако он был невероятно талантливым, жёстким игроком, последователем школы Ботвинника, преданным шахматам и социализму. Как-то раз он сказал, что у него есть три хобби — шахматы, коллекционирование марок и марксизм. Его игра, как и его личность, была серьёзной, практичной и спокойной.
В 1974 году Карпов в матчах претендентов победил одного за другим ведущих советских шахматистов. Выиграв у Льва Полугаевского и Спасского (в серьёзность борьбе), он затем победил и Корчного, который обвинил советских чиновников, что в их противостоянии они откровенно заняли сторону молодого человека.
Таким образом, Карпов оказался претендентом на титул чемпиона мира и должен был играть с Фишером. Генеральная ассамблея Международной шахматной федерации должна была утвердить положение о матче во время шахматной олимпиады 1974 года. Фишер выдвинул огромный список из 179 требований, и всем из них, за исключением двух, ФИДЕ немедленно уступила. Петросян ворчал: «Эти люди делают всё, что хочет Бобби, и он усядется за доску на тех условиях, которые сам продиктовал». Хотя в команду Фишера вернулся Эд Эдмондсон, основным проводником требований оставался Фред Крамер. Одним из условий было такое: судья не имеет права писать о матче даже после его окончания. Кто-то из ФИДЕ съязвил: «Мистер Крамер не способен помолчать даже трёх минут, а хочет, чтобы судья молчал всю оставшуюся жизнь».
Были, однако, два спорных пункта. Во-первых, от ФИДЕ поступило предложение, что победителем объявляется тот, кто первым выиграет шесть партий. Фишер настаивал на десяти победах, при этом ничьи не считаются и число партий не должно быть ограничено. Во-вторых, Фишер требовал, чтобы при счёте 9:9 чемпион сохранял свой титул, то есть претендент должен был выиграть с разницей в два очка — здесь преимущество явно было на стороне чемпиона. После споров за закрытыми дверями делегаты предложили компромисс: борьба идёт до десяти побед, но при лимите в тридцать шесть партий (в этом случае победителем объявляется игрок, набравший больше очков). Иначе, указали они, матч может продолжаться бесконечно. Фишер немедленно ответил: «Меня проинформировали, что мои предложения отклонены большинством голосов. Поступив так, ФИДЕ выступила против моего участия в чемпионате мира 1975 года. Поэтому я отказываюсь от титула чемпиона мира ФИДЕ».
Ещё не всё было потеряно. Многие восприняли его демарш как ещё одно проявление привычной конфронтации. Процесс переговоров о матче шёл быстро; Манила предложила поразительную сумму в 5 миллионов долларов, что явилось вторым по величине призом за всю историю спорта (после заирской «Битвы в джунглях» между Мохаммедом Али и Джорджем Форманом).
В марте 1975 года собрался чрезвычайный конгресс ФИДЕ. На нем Фишеру сделали ещё одну уступку, согласившись на неограниченное число партий. Однако принять требование о сохранении титула при счёте 9:9 делегаты отказались. Эдмондсон отправился в Калифорнию умолять чемпиона.
Тем временем ФИДЕ объявила, что если Фишер не даст согласия играть матч до 1 апреля, то его лишат титула. Этот день наступил и прошёл; потом ещё один... Наконец, 3 апреля был провозглашён новый чемпион — Карпов. На пресс-конференции он намекнул, что готов встретиться с Фишером в неофициальном матче, возможно думая о Маниле и пяти миллионах долларов. Карпов трижды неофициально виделся с Фишером — в Японии, Испании и Вашингтоне, — обсуждая условия матча. В конце концов министр спорта Сергей Павлов при поддержке ЦК КПСС отклонил эту идею. Главный идеолог Михаил Суслов подписал ей приговор, сочтя затею «нецелесообразной».
Фишер оказался самым бездеятельным из чемпионов, не сыграв ни одной серьёзной партии в течение трёх лет. Стремясь показать себя достойным короны, Карпов продолжал активно играть; год от года сила его росла, он выиграл серию элитных гроссмейстерских турниров и утвердил свой авторитет в шахматном мире. Он дважды победил в матче Корчного, в филиппинском городе Багио в 1978 году (едва-едва) и в 1981-м в итальянском Мерано (убедительно). Его преемник на шахматном троне Гарри Каспаров писал о Багио: «После этого воспоминания о Рейкьявике окончательно стёрлись, и престиж советских шахмат восстановился».
Где же пропадал Фишер? Несколько лет он жил в Пасадене, в лоне Всемирной церкви Господней, где его называли «сотрудником». Церковь кормила его, предоставила хорошие апартаменты на Мокинберд-лейн и даже выделила личный самолёт. В ответ Фишер перечислил им около трети (61 200 долларов) исландских призовых денег. Он подружился с Гарри Снайдером, национальным чемпионом-штангистом, тренировавшим прихожан. Почти каждый вечер они с Фишером занимались физическими упражнениями — футболом, баскетболом, теннисом, плаванием, настольным футболом. Фишер проводил много времени, слушая по радио выступления христианских проповедников.
Были и другие люди, желающие помогать ему. Одной из таких оказалась Клаудия Мокароу, также прихожанка Всемирной церкви Господней. В 1976 году международный мастер Дэвид Леви приехал к Фишеру в гости. Тот жил в большом доме без мебели. Леви и Фишер спали на матрасах, постеленных прямо на полу. Леви вспоминает, что Фишер использовал Мокароу в качестве водителя, звоня ей, чтобы та отвезла их в какой-нибудь ресторан.
В 1977-м Фишер расстался с церковью, обвинив её в «сатанизме» и подвергнув резкой критике методы работы и принципы руководства. С этого времени шахматная знаменитость превратилась в полного затворника. Те, с кем он ещё поддерживал контакт, были связаны клятвой не сообщать о его местонахождении. Отношения с нарушившими это обещание разрывались навсегда. Чтобы его не узнали, он отрастил бороду и усы. Письмо Фишера старому приятелю по шахматам Бернарду Цукерману, датированное 13 мая 1978 года, говорит о том, что он всё ещё использовал Клаудию в качестве секретарши. Он прислал её телефонный номер и разрешил Цукерману звонить туда, чтобы оставлять сообщения.
