Многие обычаи, считавшиеся утонченными на Амами, казались отталкивающими для людей из Сацума.
Местные женщины украшали руки сложными татуировками, отражающими их социальный статус. Женщины татуировали правую руку в двенадцать-тринадцать лет, по достижении брачного возраста, а левуто после того, как они выходили замуж. Первая татуировка означала целомудрие, и без украшенной правой руки девушка не годилась для замужества. Татуировка на левой руке, напротив, символизировала повиновение женщины своему мужу. Этот символизм был чужд и непонятен выходцам с главных островов, где татуировки ассоциировались с криминальным поведением и вульгарностью. Сайго нашел татуировки отталкивающими, и он высмеивал местные обычаи в письме, адресованном Оку-бо и Сайсё Ацуси. «Молодые женщины на острове настоящие красавицы, — писал он с сарказмом, — но в отличие от женщин из Киото и Осака они украшают лица толстым слоем грязной золы и разрисовывают тыльные стороны своих рук».
Кроме этих культурных различий, Сайго больше всего был поражен бедностью местных жителей и деспотичным правлением. «Больно смотреть, до какого предела дошла здесь тирания, — писал он в своем первом письме с острова. — Повседневная жизнь островитян кажется просто невыносимой. С ними обращаются хуже, чем с айнами на Эдзо [после 1868 года — Хоккайдо]. Я был поражен тяжестью их существования: я не мог себе представить, что можно жить в таких условиях». Сайго был не первым выходцем с главных островов, которого неприятно поразила царившая здесь нищета. В 1777 году Токуно Цусё, чиновник из Сацума, направленный сюда для подъема земледелия, докладывал об ужасных условиях жизни местных обитателей: «На всем ост-рове нет дома, где бы я согласился хотя бы присесть и вымыть ноги. Люди постоянно беспокоятся о том, что они будут есть на следующий день, и употребляют в пищу найденные на берегу водоросли. Им даже нечем бывает смочить себе горло… Сегодня я внезапно понял, какой глубины могут достигать человеческие страдания. У меня на сердце так тяжело, что я едва могу ходить». Правление Сацума на Амамиосима было таким жестоким, что островитяне вспоминали о нем даже в 1950-х.
Ужасающая бедность Амамиосима имела под собой одну главную причину — сахарный тростник. Эта культура, появившаяся на Амамиосима в 1690 году, изначально выращивалась для местного потребления, и тростник употребляли в пищу как фрукт, вместо того чтобы получать из него сахар. Только в 1746 году правительство Сацума осознало огромный экономический потенциал сахара — осознание, которое резко изменило значение острова. Для выращивания риса острова Амами были почти бесполезны. Местный рис считался низкокачественным, и на рынке Осака за него нельзя было получить приличную цену. Но с сахаром все было по-другому. Благодаря теплому климату острова Амами были идеальным местом для выращивания сахарного тростника, а сахар пользовался в Осака высоким спросом. Чтобы увеличить доход, княжество начало менять сельскохозяйственную политику островов, поощряя отказ от возделывания риса в пользу сахарного тростника. В 1746 году княжество стало взимать сахаром все местные налоги. В 1777-м оно установило государственную монополию на сахар, и частная торговля сахаром отныне каралась смертью. Этот переход к выращиванию сахарного тростника привел к появлению самого жестокого аспекта островной экономики — распространению рабства и подневольного труда. На главных островах рабство исчезло много веков назад. Для выращивания риса хорошо подходили мелкие, независимые крестьянские хозяйства, и дайме давно осознали, что такие фермеры являются надежными и продуктивными налогоплательщиками. С сахарным тростником дело обстояло совсем иначе. Выращивание сахарного тростника представляло собой трудоемкое, опасное и изнурительное дело, поэтому здесь самыми продуктивными фермерами были владельцы плантаций, способные в любой момент мобилизовать десятки и сотни подневольных работников. К началу восемнадцатого века все представители островной элиты — вожди кланов и местные чиновники — были рабовладельцами. К 1850-м около трети жителей были янтю — так на острове называли крепостных крестьян.
Сайго был тронут бедностью островитян и испытывал негодование от того, что его собственное княжество может действовать с такой жестокостью. Его сочувствие к островитянам плохо уживалось с собственным чувством потери. Сайго был отправлен на край земли, и одним своим видом местные жители постоянно напоминали ему о глубине его падения. 7/6/1859 он излил душу в письме друзьям: «Как вы знаете, более пяти лет я находился в близких отношениях с самыми высокопоставленными сторонниками императора в стране, поэтому сейчас мне очень трудно общаться с этими волосатыми китайцами. Я чувствую себя просто ужасно и порой даже сожалею о том, что выжил». Охваченный глубокой депрессией, чувствуя огромную тяжесть понесенной потери, Сайго замкнулся в себе. Согласно местной легенде, Сайго предложили слуг, но он отказался оч них, отдав предпочтение уединению. Он жил один, сам собирал хворост и сам готовил себе еду. Иногда он выходил из своего маленького домика, чтобы размяться и поупражняться, с мечом. Большой, молчаливый и мрачный, он представлял собой устрашающую фигуру.
Не желая смириться со ссылкой, Сайго отчаянно искал пути завоевать прощение, а вместе с ним и разрешение вернуться. Если Сайго стремился к тому, чтобы, находясь в ссылке, не оказаться в полной изоляции от внешнего мира, то его друзья предоставляли ему массу возможностей для этого. Коллеги интересовались мнением Сайго по важным политическим вопросам и даже заочно включили его в свою переписку с отцом дайме, Хисамицу. Хотя Сайго находился в ссылке на отдаленном острове, с ним постоянно консультировались и держали в курсе всех деталей политики лоялистов. Ни один другой вассал Сацума не был так хорошо информирован о национальной политике, не обладал такими обширными связями и не пользовался таким большим уважением. Хотя официально Сайго был мертв, он продолжал оказывать мощное влияние на сторонников императора из своего родного княжества.
С лета 1858 до 3/1860 самый животрепещущий вопрос, беспокоивший всех сторонников императора, заключался в том, как остановить Ии Наосукэ, инициировавшего ансэйскую чистку, которая значительно проредила их ряды. Ии не только посадил в тюрьму или казнил самых красноречивых ораторов и самых искусных стратегов, но и приобрел союзников при императорском дворе, а также добился одобрения императора для договора Харриса. Это смелое, внезапное и, главное, успешное восстановление власти сёгуната встревожило даже самых умеренных самураев. В последние дни своего пребывания в Осака и Киото Сайго пытался заручиться поддержкой для введения войск в императорскую столицу. В его отсутствие планы лоялистов стали еще более радикальными. Вассалы Сацума начали говорить об убийстве Ии, об изгнании с официальных постов всех его союзников при императорском дворе и о требовании проведения полной реформы сёгуната. Окубо, который в отсутствие Сайго стал лидером лоялистов Сацума, обдумывал подобные планы и спрашивал совет у Сайго. В письме от 29/12/1858, доставленном Сайго во время его короткой остановки в Ямагава по пути на Амамиосима, Окубо спрашивал у Сайго о том, что лоялистам делать дальше. Насколько тщательно им следует координировать свою стратегию с другими княжествами? Что, если главные члены их движения будут арестованы или казнены? Несмотря на его посмертную репутацию человека, способного на опрометчивые поступки, советы Сайго были осторожными. Он хвалил преданность Окубо и своих соотечественников, но призывал их не действовать поспешно и не растрачивать понапрасну свои силы на нанесение удара без предварительного заключения союза с самураями из других княжеств. Умереть, служа императору, было почетно, но для того, чтобы служить императору, теперь требовались осторожность, дальновидность и тщательное планирование.
Совет Сайго оказался разумным, и он помог осуществлению планов как самого Окубо, так и всех сторонников императора. Вместо того чтобы нанести удар маленькой, плохо организованной группой, Окубо теперь нацелился на то, чтобы склонить Хисамицу и Тадаёси к тому, чтобы оказать поддержку императорскому дому. Тихая дипломатия Окубо принесла свои плоды. 11/1859 Тадаёси, предварительно посоветовавшись со своим отцом, совершил беспрецедентный шаг, напрямую обратившись к Окубо и его группе лоялистов. В письме, запечатанном его као, официальной подписью даймё, Тадаёси призывал своих вассалов проявлять сдержанность и осторожность, но в то же время хвалил их за высокий моральный дух. Он также призывал их стать «каменными колоннами», поддерживающими государство, и защищать императорский двор. Письмо было адресовано сэйтюси, или «преданным вассалам», и его получатели превратили это обращение в свое название, начав называть себя «Сэйтюгуми», или «группа преданных вассалов». Лоялисты ответили Тадаёси клятвой на крови. Они согласились не действовать поспешно, но попросили своего господина защищать императорский двор; укрепить оборону княжества; заключить союз с Кумамото, Мито и Фукуи; вернуть из ссылки Сайго. Несмотря на то что Сайго находился от них в сотнях миль, «Сэйтюгуми» поместили его имя, Кикути Гэнго, в самое начало своего списка. Кроме того, Окубо заверил Тадаёси, что они действуют, руководствуясь его идеями.
