В апреле 1965 года Шон уехал в Нассау на съемки четвертого фильма про Бонда — «Шаровая молния». Уезжал он туда в скверных чувствах, поскольку его семейная жизнь дала трещину. В последнее время его отношения с женой усложнились, причем немаловажную роль в этом сыграла слава Шона. Когда тебя постоянно преследуют поклонники, не дают прохода журналисты и ты не имеешь возможности даже прогуляться с женой и детьми в городском парке (кроме собственного сына у Шона была еще дочь от брака Дианы с Андре Вольпе), жизнь становится просто невыносимой. И не удивительно, что Диана начала срываться. Шон прекрасно понимал ее чувства, разделял их, но что он мог сделать, будучи заложником образа, созданного им на экране? Отказаться от роли Бонда, которая приносит его семье хорошие заработки, было бы верхом безрассудства. Короче, получался замкнутый круг.
Уехав в Нассау, Шон практически каждый день звонил оттуда жене. Так продолжалось две недели, после чего состоялось воссоединение семьи — Диана вместе с детьми прилетела к мужу. Газетчики, которые успели разнести по всему миру новость о том, что брак Шона и Дианы доживает последние дни, вынуждены были взять свои слова обратно. А конец года ознаменовался для Шона новым успехом. Ежегодное собрание киноменеджеров, проводимое нью-йоркской газетой «Моушен Пикчер Херальд», присудило Коннери звание самой яркой звезды 1965 года (второе место в этом списке занял король рок-н-ролла Элвис Пресли, третье — Софи Лорен и т. д.).
В середине 1966 года Шон дал согласие сниматься в пятом фильме о Бонде «Прекрасное безумие», но предупредил продюсеров, что эта лента станет последней в его бондиаде. Дескать, устал я от этого шпиона. Сами понимаете, началось такое! Его бросились уговаривать не расторгать контракт, даже пообещали увеличить сумму без того заоблачного гонорара. Еще бы не волноваться продюсерам, если четыре фильма про Бонда принесли доход более 150 миллионов долларов при затратах всего лишь в 10 миллионов! В итоге Шона уговорили повременить с расторжением контракта. В это же время они с женой продают свой скромный дом в Эктоне за 17 950 фунтов стерлингов и приобретают недвижимость в Испании и анонимно дом в викторианском стиле в лондонском районе Патни.
В начале 1967 года очередной фильм о Бонде «Живешь только дважды» был готов. Он снимался в Японии, и даже там Коннери приходилось несладко. Токийский отель «Хилтон» осаждался толпой фанатов двадцать четыре часа в сутки, и Шону приходилось покидать его под усиленной охраной полиции и 12 тяжеловесов, которые выполняли роль личных телохранителей звезды. Однажды актер вознамерился прогуляться по улицам города, причем специально выбрал такой маршрут, где бы его не смогли поймать фанаты. Но он ошибся в возможностях последних. Каким-то немыслимым образом они разузнали, в каком месте Токио собирается гулять их кумир, и атаковали его там. Шон был взбешен, променад пришлось срочно отменить. Та же история происходила и на съемках. Например, группа специально выбрала для натурных съемок глухую деревню Акиме, но фанаты добрались и туда. Причем их приехало туда несколько тысяч (!), а одна туристическая компания даже заказала экскурсионные туры на место съемок. Местной полиции, которая насчитывала всего лишь несколько десятков человек, пришлось срочно просить подкрепление из города. В течение трех дней, пока прибывало это подкрепление, съемки не проводились — фанаты не давали. Это время Шон и Диана проводили в номере местного отеля, не имея возможности даже носа высунуть наружу. Тогда они о многом размышляли, в частности, что с ролью Бонда пора завязывать. Шон вновь заявил своим продюсерам, что он намерен поставить точку в своей бондиаде. Как ни странно, на этот раз Брокколи и Зальтцман восприняли его слова без обычного страха. Они и сами уже пришли к выводу, что их трио уже достаточно друг другу надоело и пора каждому идти по жизни в одиночку (к тому времени оба продюсера помимо бондиады осуществляли несколько других проектов).
Когда стало официально известно, что Коннери завязал с ролью Бонда, большинство людей сочли это безумием и предрекли актеру скорое забвение. Дескать, ни на что другое, кроме как всю жизнь играть агента 007, ты, дружок, не способен. Чтобы доказать обратное, Шон занялся совершенно незнакомым для себя делом — профинансировал и снял документальный фильм про рабочих одной из судостроительных верфей в Шотландии. Затем, в начале 1968 года, снялся в вестерне «Шалако», где его партнершей была сама Брижитт Бардо. Однако оба проекта Шона не принесли успеха. Слова поклонников актера о его скором забвении, кажется, начали сбываться. В ежегодно составляемом списке кинозвезд Коннери переместился с 1-го на 6-е место. И даже не вошел в десятку лучших актеров США.
В мае 1968 года Шон уезжает в Америку, чтобы сняться там в фильме «Молли Магуайрс», повествующем о секретном союзе ирландских шахтеров XIX века. Актер возлагал на него определенные надежды, надеясь, что фильм если и не вернет ему былую славу, однако позволит публике вновь заговорить о нем как о признанной звезде. Но этим надеждам не суждено было осуществиться: фильм не понравился боссам «Парамаунта» и они на 18 месяцев положили его на полку. К этим неприятностям добавились и семейные — вконец испортились отношения Шона с Дианой. Однажды приятель Шона Майкл Кейн стал свидетелем такой неприятной сцены, произошедшей в Нассау. Они с Шоном вышли купить что-нибудь к ужину, а Диана осталась дома готовить трапезу. Друзья прошлялись часа два, а когда вернулись, Диана швырнула в них тарелку с ужином — зеленой фасолью в соусе. Были и другие инциденты, которые убеждали всех, кто знал эту семью, в том, что дело пахнет разводом.
В конце 68-го Коннери дал свое согласие сыграть роль известного исследователя Арктики Роальда Амундсена в совместной советско-итальянской ленте «Красная палатка». В рамках этого проекта Шон в самом начале 1969 года приехал в Москву, чтобы здесь сняться в ряде эпизодов. И с ним произошел забавный случай. Привыкший к тому, что его везде и всюду узнают, в Москве он вдруг столкнулся с совершенно противоположным результатом — на него никто не обращал внимания. Он ходил по улицам города и ни один (!) прохожий не остановился рядом с ним, чтобы взять автограф или просто поглазеть на него. Это сильно его шокировало. Только потом он узнал, что ни один фильм про Джеймса Бонда в Советском Союзе не показывали, хотя все граждане нашей страны знали про агента 007 из газет как про пособника империализма. По этому поводу Владимир Высоцкий даже написал песню, где есть такие строчки: «Но, несмотря на личность и акцент, его там обозвали оборванцем, который притворялся иностранцем и заявлял, что, дескать, он — агент…»
В том же году в жизнь Шона вошла другая женщина. Ею оказалась актриса Мишелин Рокебрун, которая была на год старше Шона и жила во Франции вместе со своим мужем, двумя сыновьями и дочерью. Они познакомились в Марокко, откуда Мишелин была родом и куда Шон повадился ездить вместе с друзьями на соревнования по гольфу. Как признается позднее сама Мишелин, она влюбилась в Коннери с первого взгляда, но не подала даже виду. Более того, она вообще проигнорировала его, что заставило самого Шона обратить на нее внимание (до этого буквально все женщины бросались ему на шею). Они провели вместе два дня и расстались, не давая друг другу никаких обязательств. Однако спустя три месяца Шон позвонил ей в Париж и сказал, что он ее любит и они срочно должны увидеться. К тому времени он уже ушел от Дианы, купив себе в Челси квартиру с окнами, выходящими на Темзу.
К середине 70-го года Шон наконец окончательно убедился в том, что его творческая жизнь без Бонда складывается из рук вон плохо. Последняя картина с его участием, на которую он возлагал большие надежды — «Магнитные ленты Андерсена», не оправдала себя. Однако, несмотря на очевидность факта, он продолжал игнорировать предложения вернуться к образу агента 007. Поэтому в шестом фильме серии — «На службе Ее Величества» — Бонда сыграл актер Джордж Лэзенби. Фильм был хорошо принят публикой, однако у авторов бондиады в голове продолжала сидеть мысль вернуть в сериал Шона. В январе 1971 года был готов сценарий очередного фильма про агента 007 — «Бриллианты навсегда», который должен был снимать режиссер третьего бонд-фильма («Голдфингер») Гай Хамильтон, и Шона вновь позвали туда. Он опять отказался. И тогда ему предложили астрономический гонорар — 1,25 миллиона долларов сразу по окончании съемок (а это 18 недель) плюс проценты от прокатной прибыли. Когда Коннери усомнился в том, что фильм удастся снять за 18 недель, ему сделали новое предложение: за каждую лишнюю неделю ему заплатят 145 тысяч долларов. И лишь тогда обе стороны ударили по рукам. Кстати, мало кто знал, что весь свой гонорар в 1,25 миллиона долларов Шон предполагал отдать в Шотландский международный образовательный фонд, что он и сделал. Так что деньги, видимо, его интересовали не в первую очередь. Тогда что же? Судя по всему, таким образом он хотел вернуть себе статус звезды первой величины, который заметно потускнел с тех пор, как он отказался играть Бонда.
