Гулд не посетил ни одного представления «Двенадцати искушений» или любой другой феерии, поставленной Фиском. К весне 1870 года и он, и его родственники покинули старый особняк Миллеров рядом с Юнион-сквер и переехали в более просторные дома на фешенебельной Пятой авеню, где Гулд жил в таунхаусе на Пятой авеню, 578, на полпути между пересечениями Пятой с Западной Сорок седьмой и Западной Сорок восьмой улицами.[331] Хотя на первом этаже дома Джей создал для себя тщательно продуманную библиотеку, свой домашний офис для ночных посиделок он устроил в нелюбимом углу подвала. На крыше он оборудовал простую оранжерею для своих цветов: роз, гиацинтов и особенно орхидей, которыми он недавно увлекся. Рядом с теплицей плотники построили небольшой сарайчик. Здесь, помимо садовых инструментов, он хранил старинный сундук (реликвия старого дома в Роксбери), набитый ботаническими справочниками. И такой расклад его вполне устраивал. «У меня есть недостаток, — сказал Гулд одному репортеру примерно в это время, — я не общителен. Люди с Уолл-стрит любят компании и спорт. Стоит человеку заработать там 100 000 долларов, как он тут же покупает яхту, начинает гонять на быстрых лошадях и вообще становится спортом. Мои вкусы лежат в другом направлении. По окончании рабочего дня я возвращаюсь домой и провожу остаток дня с женой, детьми и книгами из своей библиотеки. У каждого человека есть свои природные наклонности. Мои — домашние. Они не рассчитаны на то, чтобы сделать меня особенно популярным на Уолл-стрит, и я ничего не могу с этим поделать».[332]

На самом деле, необщительность была очень кстати для человека, которого обычно не жаловали в вежливом обществе. Затянувшаяся газетная слава Джея после «черной пятницы» в сочетании с его широко разрекламированными махинациями с ценными бумагами Erie за счет и на беду иностранных акционеров сделали его изгоем в обществе. Уже будучи одним из самых презираемых людей в Соединенных Штатах, Гулд получил хороший совет — наслаждаться жизнью в кругу своей семьи. По счастливому стечению обстоятельств, именно там он предпочел бы находиться в любом случае. Но даже преданность Джея семье вызвала негативную реакцию общественности. Газеты цитировали мнение многих грубых и неотесанных спекулянтов с Уолл-стрит о том, что Гулд — сноб, готовый проводить с ними время только тогда, когда нужно заработать деньги. Репортеры, сами не чуждые внеурочному общению на Уолл-стрит, были склонны придерживаться того же мнения. Не один журналист не преминул сравнить замкнутого Гулда с открытым сердцем и буйной популярностью Фиска. В то время как один из них публично играл роль зловещего негодяя, другой наслаждался ролью очаровательного, неудержимого плохиша. В итоге домашние инстинкты Джея во многом способствовали тому, что у публики сложилось впечатление, будто у него нет друзей и, следовательно, нет лояльности к кому-либо, кроме своих родственников. Ближе всего Гулд был к ночной жизни, когда после ужина иногда прогуливался в отеле на Пятой авеню, чтобы понаблюдать за послеобеденными торгами и методично поболтать с биржевыми брокерами, которые часто посещали бар и лобби заведения. Его разговор почти всегда был финансовым и без юмора, его вопросы были целенаправленными, а его антенны были наготове в поисках любой полезной новости, пока он бродил среди трейдеров.

Знакомые привыкли к тому, что каждый вечер он задерживался в отеле менее чем на час — только для того, чтобы пощупать пульс рынка. В свою очередь, они не заметили никаких изменений в молчаливом поведении Гулда летом 1870 года, когда Элли с детьми уехала на пляж в Лонг-Бранч, штат Нью-Джерси, на целых восемь недель. На протяжении всего периода холостяцкой жизни Джей по-прежнему проводил вечера рано. Он регулярно отказывался от перспективы провести ночь в городе с Фиском, полным нимф, и каждые выходные отправлялся в Лонг-Бранч. Члены экипажа вспоминали, как он сурово сжимал в руках портфель, прогуливаясь по палубам парохода «Плимут Рок», принадлежащего компании «Фиск и Гулд» и курсирующего между Манхэттеном и побережьем Джерси каждую пятницу днем и воскресенье вечером.

Взойдя на борт судна в пятницу, 19 августа, Гулд обнаружил себя в окружении шестисот человек из полка ополчения Фиска, все они направлялись в Лонг-Бранч на ежегодный летний бивуак. Спустя десятилетия Джордж Гулд вспомнит, как вместе со своим несолдатским отцом посещал Девятый полк в «Лагере Джея Гулда», где Джорджу в возрасте шести лет разрешили стрелять из винтовки в волны океана. «Поскольку им предстоит питаться в гостиницах, — заметил корреспондент „Геральд“ об изнеженном полку Фиска, — они не берут с собой пайки, обременяющие их ранцы, а набивают их белыми панталонами, белыми перчатками и другими дилетантскими украшениями отдыхающих солдат».[333] Благочестивая Элли Гулд аплодировала Фиску за то, что он отправил своих людей на воскресную службу, хотя человек из «Геральд» заметил, что это была первая проповедь, которую Фиск услышал за девять лет. «Он был очень тронут необычной сенсацией и пролил слезы. Для него это было лучше, чем спектакль».[334]

Частично причиной внезапной потребности Фиска в летней военной службе стал распад его личной жизни на Манхэттене. Незадолго до отъезда в Лонг-Бранч со своими людьми он получил холодное отношение от Джози. После этого, пока Фиск «тренировался» в Лонг-Бранче, Джози завела себе нового любовника: тридцатидевятилетнего Эдварда С. Стоукса, известного как Нед. Красавчик и женатый, видный в обществе Стоукс занимал должность генерального менеджера Бруклинской нефтеперерабатывающей компании, принадлежавшей его овдовевшей матери. По словам современника, хорошо его знавшего, у Стоукса «был один большой недостаток…У него была горячая кровь, и, будучи человеком нервного, сангвинического темперамента, он мог в любой момент вспыхнуть, если считал себя оскорбленным или обиженным. Он всегда был чувствителен к оскорблениям и быстро обижался на обиду».[335] Годом ранее, когда из-за вспыльчивости, неразумности и воровства корпоративных средств самого Стоукса «Бруклин Ойл» начала подавать признаки краха, Стоукс уговорил Фиска, тогда еще своего друга, войти в совет директоров компании и сделать крупные инвестиции. Позже Фиск обеспечил выгодные тарифы железной дороги Эри на перевозку нефти Стоукса между Пенсильванией и Нью-Йорком и предоставил Стоуксу фактическую монополию на все крупные закупки нефти и керосина на Эри. Взамен Стоукс украл женщину Фиска. «Мисс Мэнсфилд, — писал биограф Фиска Р. У. Макэлпайн, — хотя не испытывала к Фиску настоящей любви или страсти, принимала его как любовника, за его деньги. Но Стоукса она действительно любила; или, если любовь — слишком возвышенное слово, чтобы использовать его в отношении женщины, столь мирской и расчетливой, можно с уверенностью сказать, что она питала к Стоуксу пылкую страсть».[336]

Фиск, конечно, регулярно крутил романы со множеством актрис и танцовщиц. Но Джози всегда оставалась единственной неизменной в его романтической жизни. Кроме того, весь Нью-Йорк знал о нескромной связи Фиска с Мэнсфилд, поэтому его внезапное изгнание из особняка, за который он заплатил, вызвало большое смущение. Джози, в свою очередь, похоже, не понимала, что, когда мужчина содержит женщину, он, как правило, ожидает от нее взамен достаточной степени исключительности. «Меня всегда снабжали шелками, винами, едой и всем, что я только могла пожелать, — скажет она позже, — но он никогда не позволял мне никакой свободы».[337] Когда в начале сентября Фиск вернулся на Манхэттен, он встретился с Мэнсфилд и отверг ее прямое предложение о том, что в обмен на его постоянную поддержку она могла бы продолжать иногда общаться с Фиском, но при этом встречаться со Стоуксом. «Так не пойдет, Джози», — сказал он. «Нельзя одновременно вести два паровоза по одному пути в противоположных направлениях».[338]