Вышедший в том же месяце альбом «Between the Buttons» встретил у публики далеко не самый теплый прием. Критики окрестили его «однообразным». Брайан добавил на диск множество различных инструментов, в том числе блокфлейту, терменвокс, аккордеон и саксофон.
В начале года газета «News of the World» опубликовала серию статей о тайной жизни дебоширов из стана богатых и бесстыдных небожителей. И, спрашивается, кто более подходил для одной из таких статей, чем распущенные «Роллинг Стоунз»? В ней говорилось, что Мика Джаггера видели в ночном клубе «Blaise’s», игриво предлагающего своим друзьям «бенни» — таблетку амфетамина-бензедрина. На самом деле это был Брайан. А спустя менее чем неделю, 12 февраля — возможно, по наводке «News of the World», — полиция обыскала дом Кита Ричардса в Западном Уиттеринге. Брайан в то время завершал работу над музыкой к фильму и решил передохнуть. Он позвонил Киту с тем, чтобы сказать ему, что он и Анита присоединятся к его вечеринке в течение пары часов. Брайан просто-таки подгадал время! В ту самую секунду отряд детективов во главе с главным инспектором Дайнли вломился в дом Кита, потрясая ордером на арест перед удивленными лицами всех присутствовавших там. «Не волнуйся, Брайан, — успел сказать ему по телефону Кит, — нас всех только что арестовали!»
Впрочем, несмотря на столь широкий публичный резонанс, со временем оказалось, что Мик и Кит были и не особо-то виноваты, и Джаггер много позже говорил, что теперь вся эта история выглядит просто невинной шуткой. Но тогда все было очень серьезно, и это отразилось на судьбе группы. И без того подорвавший свое душевное спокойствие постоянными скандалами с Анитой, Брайан был по-своему шокирован этим арестом и в конце концов поддержал общее решение на время покинуть Британию, которую теперь все называли не иначе, как полицейским государством, пока судебное дело Мика и Кита находится на рассмотрении. Они выбрали Марокко — а именно Марракеш. Для Брайана это путешествие, едва начавшись, стало судьбоносным — в самом плохом смысле этого слова.
Он путешествовал с Анитой и Китом в его авто ”Bentley Continental”, которое вел Том Килок — бывший десантник, видимо, более сведущий в искусстве нападения, чем в умном ведении машины, но у Кита была неисправимая склонность к подозрительным людям. Во время многокилометрового пробега по Франции и Испании они остановились в Париже, чтобы принять к себе на борт подругу режиссера Дональда Кэммелла — Дебору. Дорога, по которой они ехали, была гористой, и вскоре Брайану стало очень нелегко, так как разреженный воздух вызвал у него астматический приступ. Несмотря на то, что он использовал свой аэрозоль, его самочувствие резко ухудшилось всего за час. Вскоре у него случилась лихорадка, температура поднялась необычайно высоко, и им пришлось сдать его в ближайшую больницу, где его немедленно приняли с подозрением на пневмонию. Предположительно, что именно в этот момент Брайан попросил Аниту ехать в Испанию с Китом и остальными без него, сказав, что он присоединится к ним в Танжере, когда будет чувствовать себя лучше. Остановившись в Валенсии, Кит и Анита не могли больше противостоять друг другу, и Кит провел ночь в ее комнате. В это же время Брайан лежал без сна в своей больничной кровати, мучая себя бесконечными подозрениями о том, что же на самом деле происходит между ней и Китом. В приемной отеля служащий передал Аните гору записок от Брайана, в которых он просил ее вернуться к нему в Тулузу, чтобы они уже вместе смогли бы вылететь оттуда прямо в Марракеш. Кит, стараясь сделать еще хоть что-нибудь приличное, попросил ее об этом, но приехав в Тулузу, Анита и Брайан немедленно подрались.
Брайан немедленно почувствовал, что его страхи имеют под собой вполне реальную почву. Недоказанные подозрения, мучившие его еще в Англии, казались ему тогда ничтожными, но у Брайана еще оставался призрачный шанс, что он ошибается. Теперь же и его не осталось. К тому времени, как он вылетел с Анитой к Мику, Мэриэнн, Роберту Фрейзеру, фотографу Майклу Куперу, Киту и Деборе, то был изможден, напряжен и психологически сломлен. Каждая секунда с тех пор была наполнена непереносимым напряжением. Заняв весь десятый этаж отеля, «Роллинги» и антураж устроили «кислотную вечеринку» в надежде заглушить тревогу ожидания надвигающегося суда, но в случае с Брайаном это только спровоцировало в его душе еще большее напряжение. Сцена оказалась уже приготовлена для финального акта драмы, в котором Брайон Гайсин, с кем Брайан немедленно встретился в Марракеше, был всего лишь невинной жертвой.
Не говоря Брайану ни слова, Кит и Анита приняли решение уехать от него, и сказали Гайсину, что в аэропорту должна приземлиться компания британских репортеров. Они попросили его о том, чтобы ради группы Брайан подождал их вместе с ним где-нибудь в городе. Гайсин отвел его на целый день на Джемаа Эль Фна — самую большую городскую площадь, — где бы они могли записать музыку и погрузиться в туманную, сюрреальную атмосферу, наполненную пикантными ароматами приправ и других манящих запахов. Как только Брайан закончил запись, то, счастливый, начал бродить по излюбленному лабиринту базаров с легким сердцем — не ведая, что это ощущение к нему уже долго не вернется. Тем временем в отеле злоумышленники лихорадочно готовились к отъезду. Вся их веселая компания эвакуировалась в мгновение ока. Кит и Анита забрались вместе в «Бентли» с Томом Килоком за рулем и уехали, не оставив ни записки и ни минуты не переживая о том, что почувствует Брайан, когда всего через несколько часов обнаружит себя здесь обманутым и покинутым.
Килок отвез их из Марракеша в Танжер, где они наняли яхту до Малаги, а потом пересели на самолет из Мадрида в Лондон. Вместо того, чтобы вернуться в Марракеш, Том уехал назад в Британию, оставив, таким образом, Брайана предоставленным исключительно самому себе. В этот момент Брайан вернулся в отель, светящийся от радости из-за того, что сделал удачные записи, сжимая в руке длинную резную курительную трубку, перед покупкой которой он не смог устоять на базаре. Когда он обнаружил, что произошло, то просто обезумел. Он начал бешено бегать по отелю, совершенно не в состоянии поверить в то, что его все покинули. Снова и снова спрашивал он служащего в приемной отеля, нет ли какой записки для него, и, наконец, бурно разрыдался. Его самые глубокие и потаенные страхи оказались правдой, и в этот день он готов был покончить с собой. В ту ночь он позвонил Ронни Мани в Лондон, еле связывая слова в предложения. Та посоветовала ему не терять голову и дать телеграмму в офис «Стоунз» о том, чтобы ему немедленно выслали деньги на обратный путь. Брайан повиновался.
Льюис Джонс сказал в радиопередаче о Брайане, которая вышла уже после его смерти в 1971 году: «В чем я твердо убежден — это что он потерял единственную девушку, которую он когда-либо любил; это стало для него большим ударом. Он изменился неожиданно и пугающе — из светлого энтузиаста Брайан превратился в тихого, мрачного и погруженного в себя молодого человека. Эта перемена была настолько разительной, что мы с матерью, увидев его, были просто шокированы, и, как мне кажется, он уже никогда не стал прежним. Именно в это время, как мне кажется, он связался с наркотиками. Принимал ли он их так, как многие любят выпить иногда, или нет — не знаю... Я не узнаю этого никогда. Я убежден и всегда буду убежден в том, что это был переломный момент в жизни Брайана — гораздо более значительный, чем вся эта его поп-сцена».
Прибыв в Париж, Брайан появился на пороге квартиры своего друга Дональда Кэммелла, растрепанный, шальной и без багажа. «Они покинули меня, — это все, что он мог сказать ему, когда тот открыл дверь, — они просто отвалили и покинули меня!» В ту ночь Брайан был так взволнован, что Дональд с трудом понимал, что же с ним произошло. Временами все, о чем Брайан мог говорить — это о деревянной трубке, которую он купил вместе с Гайсином в Марракеше, но Дональд мог легко заметить, какой ужасный стресс Брайан получил от всего происшедшего с ним. Брайан все время продолжал бормотать о том, что просто не представляет, где же Кит и Анита могли запропаститься. (Тем временем беглецы приютились в небольшой квартирке на Сент-Джонс-Вуд в Лондоне.)
