Диспут по поводу борьбы Северной и Южной династий приобрел новое значение в последние годы правления режима Токугава. Для Сайго и его сторонников этот конфликт пятивековой давности, судя по всему, имел самое непосредственное отношение к их собственной борьбе. В 1860-х, когда императорский двор и сёгунат Токугава вступили в открытое столкновение по поводу иностранной политики, Асикага стал символом сёгунского высокомерия. Так, например 22/2/1863 сторонники императора ворвались в храм Тодзи в Киото и обезглавили статуи трех сёгунов из династии Асикага: Такаудзи, Ёсиакира и Ёсимицу. Головы объявились через несколько дней, выставленные для всеобщего обозрения у реки Камо, словно головы казненных преступников. Записка, прикрепленная к подставке, гласила: «Статуи этих трех негодяев постигла небесная кара за то, что при жизни они совершили наихудшее из всех зол». Для тех горожан, которые имели смутное представление об истории, вандалы поместили пояснительную записку на доске для публичных объявлений, где кроме краткой исторической справки содержалось и предупреждение, адресованное неназванным персонам, не повторять предательства Асикага. Если же эти личности не покаются и не «вернутся к древней практике содействия императорскому двору», то преданные трону самураи «накажут их за совершенные преступления». Обезглавленные статуи встревожили сёгунат Токугава, поскольку аналогия была для всех абсолютно прозрачной. Вандалы метафорически убили сёгуна и утрожали выйти за пределы метафоры.

Не существует твердых доказательств связи Сайго с кланом Кикути, но сам Сайго искренне верил в эту генеалогию. Во время своей ссылки на Амамиосима он начал использовать псевдоним Кикути Гэнго, недвусмысленно связывая себя с лоялистами четырнадцатого века. Друзья поддержали его выбор, начав надписывать свои письма к нему «великому правителю Кикути» (Кикути тайкун). Сайго не раз открыто связывал свою активность, направленную на поддержку императора, с защитой Годайго его сторонниками пятью веками ранее. Для человека, отправленного в ссылку собственным господином, мысль о родстве с Кикути была особенно утешительной. И Такэтоки, и Такэмицу совершали ошибки в своей жизни, но в конечном итоге они были признаны защитниками чести и справедливости. За счет родства с кланом Кикути Сайго мог несколько приуменьшить горечь от политического поражения и связать себя с полулегендарными героями. Родство с Кикути также усиливало приверженность Сайго императору и недоверие к сёгунату. Происхождение от Кикути превращало борьбу ц высокомерием сёгуната в дело семейной чести.

О родителях Сайго нам известно очень немного. Его отец, Сайго Китибэи (1807–1852), служил начальником налогового отдела в управлении финансов княжества. Он имел ранг косогуми, который был восьмым в иерархии из десяти самурайских рангов. Обладатели двух низших рангов — ерики и асигару — обычно исполняли только второстепенные обязанности, такие, как несение караульной службы, так что Китибэи по своему рангу был «белым воротничком» среди городских самураев. Как глава отдела, он занимал самую высокую должность, на которую ему можно было рассчитывать по своему статусу. Он имел репутацию честного, трудолюбивого и бескорыстного чиновника. О матери Сайго, Маса (?—1852), нам известно еще меньше. Ее отцом был местный самурай Сибара Кэнэмон. Впоследствии Сайго с теплотой отзывался о ней, как о терпеливой и заботливой женщине.

Сайго родился 7/12/1827, став первым ребенком у своих родителей. Согласно обычаю той эпохи, Сайго в течение жизни несколько раз изменял полученное при рождении имя. В феодальной Японии имена были не столько абсолютными идентификаторами личности, сколько показателями возраста и общественного статуса. Самурай изменял свое имя по мере взросления. Малыш, мальчик, женатый мужчина и удалившийся на покой глава семьи — каждый имел свой круг обязанностей, и поэтому смена имени была вполне естественным шагом. В первые годы своей жизни Сайго был известен как Сайго Кокити и Сайго Дзюроку, но в семилетием возрасте он получил имя Китиносукэ. Став взрослым, он взял имя Такамори. 10/2/1853, после смерти отца, он заполнил официальные бумаги, чтобы изменить свое имя на Дзэнбэй, а 8/10/1858 он взял имя Сансукэ, но в личной переписке продолжал использовать имена Китиносукэ, Такамори и Дзэнбэй. Сайго также был широко известен по своему поэтическому псевдониму Сайго Нансю, или Сайго с Юга, который он взял, находясь в ссылке. Как и все его современники, Сайго мог использовать несколько имен одновременно: официальное имя для работы, неофициальное в кругу друзей — и несколько псевдонимов, чтобы подписывать ими свои стихи.

В своей семье Сайго был старшим из семерых детей — четверых сыновей и троих дочерей. Самый поздний из детей, Кохэй (1847–1877), был младше Сайго почти на двадцать лет. В одном доме с Сайго жили родители Китибэи, Сайго Рюдзаэмон (?—1852) вместе с женой (1775–1862), а также семья его младшего брата, так что максимальное количество домочадцев составляло шестнадцать человек. Доход Китибэи, как чиновника налогового управления, никогда не удовлетворял полностью его потребности на содержание семьи. Семейный дом в Ситанокадзия находился в плачевном состоянии и постоянно нуждался в ремонте. Поскольку не хватало спальных мест на всех членов семьи, Сайго спал со своими братьями под одним одеялом. Это было особенно неудобно из-за того, что все дети были крупными: когда мужчины Сайго вырастали, их рост обычно достигал шести футов (180 см). В 1855 году семья переехала на другой берег реки, в Уэносоно, но их новый дом оказался таким же ветхим. Невестка Сайго, Иваяма Току, вспоминала, что «дом в Уэносоно находился в очень плохом состоянии. Пол в нем прогнулся, как утиное гнездо».

Чтобы хоть как-то сводить концы с концами, семья Сайго брала часто взаймы и занималась сельским хозяйством. Так, например, в 1847 и 1848 годах Сайго Такамори и его отец одолжили в общей сложности 200 золотых рё у семейства Итагаки, которые были богатыми землевладельцами в округе Мидзухики, ныне представляющем собой часть города Кагосима. Это была огромная сумма, равная многолетнему доходу самураев или ремесленников. Семья Сайго не имела никакого дополнительного обеспечения, кроме своего имени, и ей не удавалось делать регулярные взносы в счет погашения долга. Только в 1872 году, когда Сайго получил пост государственного советника (ранги) в правительстве Мдйдзи, семья начала постепенно возвращать долг.

На одолженные деньги семья купила землю для возделывания. Дошедшие до нас записи достаточно скудные, но мы знаем, что семья владела по меньшей мере одним участком в Ниси бэппу, теперь расположенным в пределах городской черты Кагосима. Согласно налоговой ведомости, земля возделывалась владельцем, которым значился Сайго Китибэи. Иваяма Току вспоминала, что младший брат Сайго, Китидзиро, собирал в Ниси бэппу хворост, привозил его на спине вьючной лошади обратно в самурайский квартал и подавал от двери до двери. Неясно, приходилось ли когда-нибудь самому Та-камори стоять на рисовом чеке с мотыгой в руке, но как старший сын и наследник он был очень хорошо знаком с финансовой стороной семейного земледелия.

Даже с этим дополнительным доходом семья Сайго жила очень скромно. Женщинам самим приходилось заниматься стиркой и уборкой, и Иваяма позднее вспоминала, как однажды человек, заглянувший к ним в дом, по ошибке принял ее за служанку. Эти стесненные обстоятельства сформировали личность и философию юного Такамори. Его отец, Китибэи, формально считался полным самураем (см или дзокаси), и теоретически получаемого им жалованья должно было хватать на содержание семьи. Но на практике семья Сайго жила скорее как госи — экономически самостоятельные «сельские воины». Госи были потомками выходцев из самых низов воинского сословия, высланных в сельскую местность, где они контролировали крестьян. Как городской самурай, Сайго имел значительно более высокий статус, чем госи. Пропасть между истинным, городским самураем и госи была настолько велика, что любой самурай, которому показалось, будто бы госи каким-то образом задел его честь, имел законное право зарубить наглеца на месте. Поскольку самурай защищал свою честь, это не считалось оскорблением, и ему оставалось только убедить свое начальство в серьезности оскорбления. И вот, хотя юный Такамори, как полный самурай, являлся членом этой элиты, экономически он был значительно ближе к госи. Сайго приходилось постоянно сталкиваться с несоответствием между своим номинальным и реальным статусом.