Семья Сайго находилась поблизости, на Амамиоси-ма, и 7/1862 Айгана привезла на Токуносима их сына Кикудзиро и новорожденную дочь Кикуко. Этот визит вызвал у Сайго двойственные чувства. Через месяц он написал Коба, что был рад увидеть Кикуко, но ему не хотелось бы, чтобы его семья приезжала сюда снова. Точные мотивы Сайго нам неизвестны, но в этом письме он называет Айгану «женщина, которая мне служит», и, судя по всему, ее благосостояние интересовало его больше, чем супружеская близость. Пока Сайго знал, что его жена и дети в безопасности, он не особенно стремился к тому, чтобы их увидеть. Главная забота Сайго состояла в том, чтобы за его семьей на Амамио-сима присматривал какой-нибудь надежный человек. Пока Сайго находился в Киото, за Айганой присматривали Коба и Току, но теперь срок пребывания Коба на Амамиосима подходил к концу, и поэтому Сайго обратился с аналогичной просьбой к еще одному другу, Ка-цура Хисатакэ. Хотя Кацура был направлен на остров только в конце 1861 года с необычной двойной миссией — открыть медный рудник и организовать береговую оборону, — семьи Сайго и Кацура были знакомы на протяжении многих поколений. Вскоре после своего прибытия в 1862 году Кацура начал помогать жене и детям Сайго, к примеру, покупая рулоны ткани для Ай-ганы. «Скажи Айгане, — просил Сайго в письме к Коба, — чтобы она успокоилась, поскольку ей нечего бояться, пока на острове находится Кацура». Сайго видел необходимость находиться возле своей семьи только в случае отъезда Кацура. Согласно устной традиции, Сайго ожидал, что проведет на Токуносима в одиночестве много лет, и поэтому начал собирать сельскохозяйственный инвентарь, чтобы выращивать собственный урожай.

Однако 8/1862 из Кагосима на остров прибыл полицейский с новыми распоряжениями относительно приговора. Сайго был посажен на бриг и перевезен на Оки-ноэрабусима — еще один остров в архипелаге Ама-ми. Хотя Окиноэрабусима находился на небольшом расстоянии к югу от Токуносима, это было совершенно другое место. В отличие от Амамиосима или Токуносима Окиноэрабусима предназначался для ссылки серьезных преступников, людей, которые едва избежали смертного приговора. Остров представлял собой мрачное место. По словам одного из биографов, «почва здесь стерильна, а воздух наполнен миазмами… Это неприятное место, где все время дует сильный ветер, поднимая высокие волны». Даже сегодня Окиноэрабусима кажется пустынным и отрезанным от внешнего мира. Несмотря на все попытки привлечь сюда туристов, большинство людей, прибывающих на остров, являются государственными чиновниками из министерства сельского хозяйства. Перевод Сайго на Окиноэрабусима казался еще более зловещим из-за угрожающего поведения полицейского, присланного из Кагосима. Один из свидетелей, Накахара Манбэй, позднее вспоминал, что взгляд полицейского заставил его заподозрить, что Сайго будет убит до того, как корабль достигнет Окиноэрабусима.

После того как Сайго был насильно разлучен с семьей, он начал открыто сожалеть о том, что провел с нею так мало времени. В своем первом письме с Окиноэрабусима Сайго горевал о том, что он и Кикудзиро «расстались, словно чужие люди, даже не узнав друг друга как следует». Разлука с детьми сделала его вторую ссылку значительно более мучительной. «Либо из-за тяжести ссылки, — писал он Току, — либо из-за того, что я постарел, однако на этот раз я кажусь себе мягкотелым и слабовольным. Я постоянно вспоминаю своих детей, и это заставляет меня страдать. Мне трудно описать свои чувства. Это странно, поскольку я всегда считал себя человеком, который от природы обладает сильным телом и духом». Сайго не забыл о пережитом чувстве потери. Жестокость ссылки на Окиноэрабусима сформировала его взгляды на преступление и наказание. Через много лет, в одном из редких положительных отзывов о западных политических институтах, Сайго похвалил западные тюрьмы, назвав их мягкими и цивилизованными. В отличие от японских тюрем, они не только наказывают, но и пытаются реабилитировать заключенного.

Они не отделяют заключенного полностью от друзей и семьи, проявляя жалость к его изолированному положению. Поэтому, заметил Сайго, именно западная пенитенциарная система сумела воплотить в себе конфуцианские идеалы человеколюбия.

Сайго находился на Окиноэрабусима с 8д/1862 по 2/1864, но о первых шести месяцах, проведенных им на острове, почти не сохранилось никаких записей. Однако существует подробная фольклорная история о жизни Сайго, которая является частью местной устной традиции. Согласно самой известной версии, Сайго прибыл в маленький порт Инобэ 14/8д/1862 и был перевезен по суше в деревню Вадомари. Здесь управляющий островом, Цудзурабара Мотосукэ, получил распоряжения об условиях его содержания. Цудзурабара был озадачен. На Окиноэрабусима находилось большое количество ссыльных, но все они могли свободно перемещаться по острову. Однако в отношении Сайго ему было дано особое указание содержать его в «заключении» все время. Цудзурабара не был уверен, что именно означает «заключение», но смысл этого распоряжения явно требовал ужесточения наказания. Поскольку Сайго прибыл на Окиноэрабусима на корабле, где имелось специальное помещение для арестантов, Цудзурабара приказал соорудить схожую конструкцию. Рабочие быстро построили для Сайго простую клетку с бамбуковой решеткой и соломенной крышей. Согласно легенде, эго был куб со стороною около девяти футов, в одном углу которого размещался очаг, а в противоположном туалет. Многие биографы отмечали, что эта конструкция напоминала загон для крупного животного.

Сайго провел две ночи под охраной, пока рабочие заканчивали его клетку. Затем он был переведен в свою новую тюрьму. Крыша создавала тень, позволявшую укрываться от солнца, но клетка стояла около моря, и ее стены не защищали от жары, ветра или дождя, а также москитов и других насекомых. Поскольку Сайго не разрешалось покидать место своего заключения, он не мылся и не ухаживал за собой; его грязные и спутанные волосы начали издавать дурной запах. Пища была ужасной, а клетка слишком маленькой для Сайго, чтобы он мог в ней размяться. С каждым днем внешний вид Сайго заметно ухудшался. Большой, энергичный человек, он медленно поддавался воздействию сквозняков, недоедания и болезней.

Согласно устной традиции, Сайго встретил свою судьбу с холодным стоицизмом. Он практиковал дзенбуддистскую медитацию и ожидал смерти. Один из его стражников, Цутимоти Масатэру, сжалился над ним и предложил Сайго тайком приносить ему более качественную еду. Сайго отказался с мрачным юмором: если ты употребляешь простую пищу, заметил он, твое тело не изменится слишком сильно после смерти. Цутимоти. согласно легенде, был поражен тихой решимостью Сайго, и ему все меньше хотелось наблюдать за его медленным угасанием. Он обратился к Цууцзурабара с просьбой пересмотреть свою интерпретацию указаний Хисамицу. Заключение, утверждал Цутимоти, совсем не обязательно должно означать открытую клетку: это может быть любое маленькое, простое строение, даже чайный домик. Цудзурабара согласился: он получил указание ограничить передвижение Сайго, а не убить его. Цутимоти сразу же начал работать над сооружением простого домика, и в конце 10/1862, после двух месяцев, проведенных в клетке, Сайго был помещен под домашний арест.

Нет никаких документов, способных подтвердить эти истории, чей уровень детализации позволяет предположить, что над их украшением поработало не одно поколение пересказчиков. Однако в этих отчетах нет ничего заведомо фальшивого. Они скорее усиливают то, что нам достоверно известно о ссылке Сайго. Нака-хара опасался за жизнь Сайго перед его отбытием, а сам Сайго позднее писал о том, что его перевели из «заключения» в «комнату». Легенда о клетке под открытым небом достаточно правдоподобно связывает эти более надежные отчеты. Мы также знаем из более поздних писем и стихов Сайго о том, что у них с Цутимоти сложились близкие и прочные отношения. Цутимоти относился к Сайго с уважением, граничившим с поклонением, и он с готовеюстью поддерживал его самые непрактичные идеи. Например, 7/1863 Сайго, хотя официально он по-прежнему находился под домашним арестом, решил построить корабль и отплыть в Сацума. В начале этого месяца английские военные корабли обстреляли Кагосима в ответ на атаку четырех британских подданных самураями из Сацума, и Сайго рвался домой, чтобы сражаться за свое княжество. Цутимоти, который воспринял эту идею с полной серьезностью, продал раба и использовал свои личные сбережения, чтобы начать строительство корабля для Сайго. Однако этот непрактичный план так и не был осуществлен. Битва, известная в Японии как «Сацума — Английская война», продолжалась один день. Хотя целые кварталы Кагосима были уничтожены огнем, силам Сацума удалось серьезно повредить один из семи британских кораблей, и две стороны тихо договорились мирно урегулировать конфликт.