В 1959 году Оппенгеймер присутствовал на конференции под эгидой Конгресса за свободу культуры в западногерманском городе Райнфельден. Он и двадцать других всемирно известных интеллектуалов собрались в отеле «Залинер» на берегу Рейна неподалеку от Базеля для обсуждения судеб промышленных западных стран. Чувствуя себя в безопасности в этой орденской среде, Оппенгеймер нарушил обет молчания о ядерном оружии и с невероятной ясностью изложил, каким его видит и какую ценность придает ему американское общество. «Что следует думать о цивилизации, всегда считавшей этику важной частью человеческого бытия, — вопрошал он, — если она не способна говорить о перспективе практически всеобщего уничтожения иначе как с точки зрения рациональности и теории игр?»

Оппенгеймеру был близок либеральный, антикоммунистический посыл конгресса. Окруженный в молодости коммунистами, Оппенгеймер теперь находился среди интеллигентов, растерявших иллюзии «легкомысленных попутчиков». Ему нравилась компания участников ежегодных заседаний, в которую входили писатели Стивен Спендер, Раймон Арон и историк Артур Шлезингер-младший. Роберт подружился с исполнительным директором конгресса Николаем Набоковым. Набоков, двоюродный брат писателя, был известным композитором и жил поочередно то в Париже, то в Принстоне. Он, без сомнения, знал, что конгресс получает финансирование от Центрального разведывательного управления. Знал об этом и Оппенгеймер. «А кто не знал, позвольте спросить? Этого никто не скрывал», — вспоминал офицер ЦРУ Лоуренс де Новилль, работавший в Германии. Когда весной 1966 года «Нью-Йорк таймс» вскрыла этот факт, Оппенгеймер вместе с Кеннаном, Джоном Кеннетом Гэлбрейтом и Артуром Шлезингером-младшим подписал адресованное редактору газеты письмо в защиту независимого характера конгресса и «честности его сотрудников». Они не пытались отрицать связь с ЦРУ. В том же году Оппенгеймер в письме Набокову заявил, что считает конгресс одним из «мощных, благотворных факторов влияния» послевоенной эпохи.

Со временем Оппенгеймер сделался более заметной звездой международного плана и стал чаще путешествовать по свету. В 1958 году он посетил Париж, Брюссель, Афины и Тель-Авив. В Брюсселе его и жену принимали члены бельгийской королевской семьи, дальние родственники Китти. В Израиле лично встречал премьер-министр страны Давид Бен-Гурион. В 1960 году Оппенгеймер приехал в Токио, где прямо в аэропорту репортеры забросали его вопросами. «Я не жалею, — мягко ответил он, — о своей причастности к техническому триумфу атомной бомбы. Не то чтобы я не чувствовал угрызений совести, но я не чувствую их сегодня вечером сильнее, чем вчера». Перевод этого неоднозначного высказывания на японский язык, должно быть, вызвал немалые трудности. Годом позже по приглашению Организации американских государств Роберт совершил турне по Южной Америке. Местные газеты вышли с заголовком «El Padre de la Bomba Atomica».

Лилиенталь, которого восхищал интеллект Оппенгеймера, был удручен тем, как складывается семейная жизнь друга. «Между блестящим умом Оппенгеймера и его неудобным характером, — писал он, — существует определенное противоречие. <…> Он не умеет ладить с людьми и особенно с собственными детьми». Впоследствии Лилиенталь безжалостно заявил, что Оппенгеймер «сломал» жизнь своим детям, «держал их на коротком поводке». Питер вырос застенчивым и в то же время очень чувствительным и умным молодым человеком. Он не желал иметь никаких дел с матерью. Фрэнсис Фергюссон понимал, что Роберт любил сына, и одновременно видел, что его друг не в состоянии защитить Питера от капризного нрава матери. В 1955 году Роберт и Китти отправили Питера, которому исполнилось четырнадцать лет, в школу имени Джорджа, элитный квакерский интернат в Ньютауне, штат Пенсильвания, в надежде, что напряженность в отношениях между мальчиком и матерью с расстоянием несколько ослабеет.

Кризис разразился в 1958 году, когда Роберту предложили на один семестр занять должность внештатного профессора в Париже. Он и Китти решили взять с собой Тони, которая училась в частной школе в Принстоне, а семнадцатилетнего Питера оставить в интернате. Роберт написал брату, что Питер изъявил желание погостить у Фрэнка на ранчо и попробовать найти работу на летний сезон в одной из туристических ферм Нью-Мексико. «Его дух все еще неуравновешен, — писал Роберт, — и я не берусь с очевидностью предсказать, что может случиться в июне».

Личная секретарша Роберта Верна Хобсон возмутилась: «Какая пощечина оставлять его одного. Он [Питер] невероятно восприимчив. Я полностью на его стороне». Хобсон высказала Роберту все, что об этом думает, но Китти уже приняла окончательное решение. Хобсон полагала, что разлука стала переломным моментом в отношениях Питера с отцом. «Наступило время выбора, — сказала Хобсон, — между Питером, которого он очень любил, и Китти. Она поставила вопрос ребром: или я, или он, и Роберт из-за обета, данного Богу или самому себе, выбрал Китти».

Начиная с 1954 года Оппенгеймеры по несколько месяцев в году жили на крохотном островке Сент-Джон, входящем в группу Виргинских островов. Роберта окружала потрясающая, первозданная красота, и он наслаждался добровольной ссылкой, ведя жизнь изгнанника, отторгнутого обществом. Говоря словами поэмы, которую он написал во время учебы в Гарварде, Роберт нашел на Сент-Джоне «свою темницу». Атмосфера острова восстанавливала его силы, как несколько десятилетий назад это делали поездки в Нью-Мексико. Во время первых посещений Оппенгеймеры останавливались в небольшой гостинице Эрвы Булон у залива Транк-Бей в северной части острова. В 1957 году Роберт купил два акра земли на берегу Хоукснест-Бей, прекрасной бухты на северо-западной оконечности острова. Участок примыкал к мощному скальному выступу, который Роберт в шутку назвал Вершиной Покоя. Вдоль плавного изгиба пляжа с белоснежным песком росли пальмы, в бирюзовых водах обитали рыбы-попугаи, синие хирурги, груперы, периодически наведывались стаи барракуд.

В 1958 году Роберт нанял известного архитектора Уоллеса Харрисона, привлекавшегося к проектированию таких примечательных сооружений, как Рокфеллер-центр, здание ООН и Линкольн-центр, чтобы сделать проект скромного пляжного коттеджа — карибской версии «Перро Калиенте». Однако нанятый Робертом подрядчик залил фундамент не в том месте — слишком близко от линии прибоя (подрядчик оправдывался тем, что топографический план сжевал осел). После окончания строительства коттедж состоял из одной большой прямоугольной комнаты длиной 18–20 метров на бетонном фундаменте. Помещение делила на гостиную и спальню стенка высотой всего 1,2 метра. Полы облицевали красивой терракотовой плиткой. В глубине постройки находилась хорошо оборудованная кухня и маленький санузел. Окна со ставнями впускали солнечный свет с трех направлений. Передняя часть коттеджа с видом на бухту оставалась полностью открытой шуму моря и теплому пассату. Таким образом дом имел всего три стены. Жестяную крышу можно было опускать, прикрывая ей переднюю часть дома в сезон ураганов. Оппенгеймеры назвали свое жилище «Восточный валун» по аналогии с большим яйцеобразным валуном, притаившимся на Вершине Покоя.

В ста метрах от них жили единственные соседи — Роберт и Нэнси Гибни. Это они с большой неохотой, поддавшись на уговоры Оппенгеймера, продали ему участок. Гибни жили на острове с 1946 года, когда за смешные деньги приобрели семьдесят акров на берегу Хоукснест-Бей. Боб Гибни, бывший редактор «Нью рипаблик», вынашивал литературные амбиции, но чем дольше жил на острове, тем меньше писал.

Жена Боба Нэнси происходила из зажиточной бостонской семьи. Это была элегантная женщина, одно время работавшая редактором журнала «Вог». Имея трех детей и скудный регулярный заработок, Гибни были богаты землей, но бедны деньгами. Впервые Нэнси Гибни повстречалась с Оппенгеймерами во время обеда в гостинице «Транк-Бей» в 1956 году. «Они явились в обычной для туристов одежде, — потом писала она, — хлопчатобумажных рубахах, шортах и сандалиях, но едва ли были похожи на людей — слишком хрупкие и бледные для этого мира. <…> Китти больше мужа походила на человека, однако казалось, что все ее лицо занимают черные глаза. Голос у нее для такой крохотной грудной клетки был слишком низкий и хриплый».