Разлад между родителями начался очень скоро: их расхождению способствовали не только несходство характеров и отсутствие взаимной привязанности, но и частые разлуки, вызванные постоянными перемещениями Леопольда, перебрасываемого из гарнизона в гарнизон. Трое родившихся один за другим сыновей — Абель (1798—1855), Эжен (1800—1837) и Виктор — не сблизили их. Любопытно заметить, что все трое детей выжили — редкий случай по тем временам. Но была ещё одна причина отстранения Софи от мужа: она влюбилась в крёстного Виктора — генерала Виктора Клода Александра Фанноде Лагори (1766—1812) (ребёнка назвали в его честь), и между ними начался длительный роман.
Леопольд тоже не терял времени даром и завёл любовницу, некую Катрин Тома. После падения Директории, при которой царили особенно распущенные нравы (были отменены церковные браки), стала ужесточаться мораль — предвестие Империи, но французское жизнелюбие не исчезало никогда, и шлейф постреволюционного эротизма тянулся ещё долго. Правда, армейский политес требовал камуфляжа недозволенных отношений, и Гюго-отец пока что скрывал любовницу от посторонних.
Тем временем Леопольд Гюго был переведён в Марсель, куда уехал с тремя детьми, включая новорождённого Виктора, для которого он нанял кормилицу. Софи осталась в нормандском замке, рядом с де Лагори. Так состоялась первая встреча с морем великого, в будущем, его певца. Гюго посвятил водной стихии бесчисленное множество стихотворений и один из своих романов. Затем вслед за отцом Виктор переплыл на Корсику, а оттуда на другой средиземноморский остров — Эльбу, связанную после с Наполеоном. Стоит отметить, что мир Средиземноморья, в том числе французского, в творчестве Гюго почти не отразился — его не тянуло ни на Лазурный Берег, ни в Прованс, ни в Лангедок — взрослым человеком он побывал на юге Франции лишь однажды.
Империя означала доминирование Франции на континенте и присутствие её войск от Португалии до Польши, а в какой-то момент и в Москве. Виктор Гюго коснулся в своей поэзии русско-французских войн. В 1876 году он написал стихотворение о битве с русскими под Прейсиш-Эйлау — «Кладбище в Эйлау», своего рода аналог лермонтовского «Бородино», зарифмованный рассказ его дяди Луи Гюго, наполеоновского офицера, слышанный в детстве. А почти двадцатью пятью годами ранее, в поэме «Искупление» из сборника «Возмездия», описал зимнее отступление армии Наполеона из Москвы.
Ребёнком Виктор Гюго успел побывать в разных географических точках Европы, следуя за поворотами военной судьбы отца. Леопольда Гюго после Эльбы ждало новое назначение — на юг Италии, в Неаполитанское королевство, недавно захваченное французами. Жозеф Бонапарт, брат императора, ставший королём в Неаполе, поручил ему, учитывая его опыт подавления восстания в Вандее, поимку знаменитого бандита Фра-Дьяволо, возглавлявшего партизанскую войну против захватчиков. 1 ноября 1806 года майор Гюго захватил Фра-Дьяволо, которого позднее повесили в Неаполе. За это достижение он получил звание полковника и должность военного губернатора провинции Авеллино. К тому времени дети вновь жили со своей матерью в Париже. Услышав о подвигах мужа, Софи с сыновьями отправилась к нему, хотя Леопольд её не приглашал, привыкнув к жизни с любовницей.
Поездка в Италию стала для пятилетнего Виктора первым длительным путешествием, которое он запомнил. Предстояло проехать всю Францию, перевалить через Альпы и далее проследовать большую часть Италии через Турин, Флоренцию, Рим. Но жизнь в Неаполе надолго не затянулась, примирения между родителями не произошло, и семья полковника отправилась в обратный путь.
Второе путешествие состоялось спустя три года. К тому времени полковник Гюго уже служил в Испании под началом того же Жозефа Бонапарта, ставшего по воле брата монархом за Пиренеями. Там он продолжил хорошо знакомое ему дело — охоту за повстанцами. В Испании разгорелась партизанская война, куда более масштабная, чем на юге Италии. Главным противником полковника Гюго выступил легендарный глава повстанческих шаек Эль Эмпесинадо (которого ему так и не удалось изловить), постоянно тревоживший французов дерзкими нападениями, нарушая их коммуникации. Борьба велась без правил — Леопольд Гюго арестовал мать и родственников Эль Эмпесинадо как заложников, тот в ответ расстрелял сотню пленных французов. Жестокость той войны ярко отражена в картинах и рисунках Франсиско Гойи. Одному из драматических кровавых эпизодов посвящено стихотворение Виктора Гюго об отце из сборника «Легенда веков» — «После битвы».
В 1811 году Софи с сыновьями вновь отправились в дальнюю дорогу — по приглашению Луи Гюго, желавшего примирения невестки с братом, поддержанного королём Жозефом. Теперь они ехали уже по западной, приморской части Франции, месяц провели в приграничном с Испанией городе Байонна, ожидая конвоя. По опустошаемой войной стране путешествовать иначе как в сопровождении трёх тысяч солдат было недопустимо. Далее путь лежал уже прямо в Мадрид. В памяти мальчика остались города Витория, Бургос, Вальядолид.
В испанской столице семья Гюго разместилась во дворце Массерано, проживая в роскошных условиях и наслаждаясь почётом, полагавшимся Леопольду Гюго, получившему к тому времени титул графа Сигуэнса. Король Жозеф выражал недовольство, что ставший уже генералом Леопольд, который занимал должность губернатора Гвадалахары, открыто живёт с любовницей — в эпоху Империи подобное считалось совершенно неуместным, требовалось соблюдать определённые правила приличия. Монарх потребовал от подчинённого примириться с женой и демонстрировать образцовую семейную жизнь. Для Леопольда приезд жены стал неприятным сюрпризом, он сделал попытку подать на развод, но в итоге ему пришлось временно подчиниться воле короля. Считая, что сыновья находятся под вредным влиянием матери, он определил старшего, Абеля, на службу пажом в королевский дворец, а младших отдал в дворянский колледж. Там Виктор овладел основами испанского языка, который начал изучать ещё перед поездкой. Это был единственный современный иностранный язык, который он худо-бедно знал и на котором порой вёл тайные записи в личных записных книжках.
Испания навсегда осталась в его сердце. Её истории посвящены циклы стихотворений в «Легенде веков», три пьесы, в том числе сделавшая имя Гюго знаменитым «Эрнани» (1830) и самая удачная — «Рюи Блаз» (1838). Взрослым человеком поэт посетит Испанию лишь однажды — в 1843 году, причём не далее её северного пограничного уголка, доехав до столицы Наварры — Памплоны, это путешествие он опишет в разделе «Альпы и Пиренеи» посмертно вышедшей книги «В пути» — своеобразных дневниковых заметок в виде писем. Однако детских впечатлений, дополненных чтением книг об Испании, писателю вполне хватит на всю жизнь. Интересно заметить, что его младшего современника, крупнейшего испанского поэта-романтика Хосе Соррилью-и-Мораля станут называть «испанским Гюго».
Для ребёнка своего времени Виктор многое почерпнул из путешествий с матерью и братьями. Не забудем, в начале XIX века подавляющее большинство детей взрослели, проживая там, где родились, — в деревне или в городе, да и потом, поездки по стране, не говоря уж о загранице, были уделом немногих.
Но родители не помирились и в этот раз, до Гюго-отца дошли слухи о де Лагори, и менее чем через год он получил удобный повод отослать неверную жену с Эженом и Виктором во Францию, обязавшись регулярно переводить ей часть своего жалованья.
Можно сказать, что детство, в целом счастливое — мальчик не знал нужды, рядом с ним были заботливая мать и братья — было омрачено сложными отношениями между родителями и фактическим распадом семьи. Так со светлыми лучами радости неизбежно соседствовали тёмные тени раздоров, как в названии одного из его сборников («Лучи и тени»).
В Париже Софи Гюго продолжила жить в квартире при монастыре на улице Фельянтинок. Это место на левом берегу Сены было для детей настоящим райским садом. В годы революции монастырь закрыли, и в нём стали селить жильцов. Дети могли играть в густом монастырском саду, о котором поэт не раз вспоминал в своих стихах. Неподалёку возвышался гигантский купол церкви Валь-де-Грас. В беседке, запрятанной в глубине сада, жил некий господин де Курлянде. Под этим именем скрывался от полиции де Лагори, впутанный в заговор против Наполеона. Беглец мило общался с братьями Гюго, подарил им книгу сказок «Тысяча и одна ночь». Они считали его почти членом семьи, правда, не очень понимая, что связывает его с их мамой. В 1810 году, при смене министра полиции, де Лагори, потеряв осторожность, лично явился к новому главе ведомства — Савари, уверяя его в своей непричастности к противозаконной деятельности. Старый сослуживец обещал замолвить за него словечко перед императором, но в итоге на следующий день за де Лагори пришли. Более дети его никогда не видели. Через два года де Лагори неожиданно вышел из тюрьмы — его освободил странный генерал Мале, который распустил слухи о гибели Наполеона в России и попытался захватить власть. Де Лагори занял пост министра полиции — но только на полдня: заговорщиков схватили и расстреляли. Так окончилась жизнь крёстного отца Виктора Гюго, которого некоторые считали настоящим отцом писателя ввиду близких отношений с Софи Гюго.
