Гибель герцога Орлеанского не приостановила восхождения Гюго по общественной лестнице. Ему не хотелось подниматься по ней через публичную политику, подобно Ламартину (избираться могли лица, платившие 500 франков налога, а голосовать — платившие 200 франков; всего избирательное право имели 188 тысяч человек из 30 миллионов населения), предпочитая кооптацию во власть королевским указом. Теперь он, уже академик, предпочитал уже напрямую общаться с королём, что позволяли и его статус, и его известность. Королевским ордонансом от 13 апреля 1845 года виконт Виктор Мари Гюго был наконец возведён в пэры и занял своё место в верхней палате.
Луи Филипп, с которым Гюго познакомился поближе и разговоры с которым с блеском описал, имел несчастливое царствование. Сын погиб, оставив двух малолетних сыновей-наследников, о судьбе которых король переживал. На жизнь монарха покушались девять раз, и это не считая раскрытых заговоров и восстаний республиканцев и роялистов (сторонников свергнутых Бурбонов). Гюго, как члену палаты пэров, довелось участвовать в судах над покушавшимися — некими Пьером Леконтом, бывшим лесничим, которому поэт тщетно пытался спасти жизнь, и Жозефом Анри, ремесленником-металлистом.
Обязанности пэров Франции были не намного ответственнее, чем у академиков. Верхняя палата имела скорее символическое значение, и назначение туда чаще всего становилось синекурой. Так что у Гюго хватало времени и на её посещение не в ущерб иным своим делам. Он вёл записи отчётов о судебных процессах, которые палата проводила как высший судебный орган. Как и в академии, и на многочисленных светских приёмах, Гюго с удовольствием записывал светские сплетни и исторические анекдоты подобно Пушкину в «Tabletalk», набрасывал портреты политиков и аристократов, нахождение среди которых льстило его самолюбию.
Несколько неожиданным следствием поездок Гюго в Германию стало своеобразное продолжение «Рейна» — драма «Бургграфы», поставленная в марте 1843 года в «Комеди Франсез». Поэт, который уже пять лет ничего не писал для театра, возлагал немало надежд на своё новое детище. Но, увы, его ждал провал, не оглушительный, но тем не менее — пьеса на средневековом немецком материале, написанная в типичной манере Гюго, пришлась не по вкусу публике, уставшей от романтических неистовств. Через полгода, в ноябре 1843-го, она была снята с представления. Так театральная судьба Гюго ещё раз переплелась с судьбой романтического театра. «Битва за Эрнани» означала его рождение, неуспех «Бургграфов» — его закат. Отныне успехом пользовались ложноклассические драмы Франсуа Понсара, бытовые комедии Эмиля Ожье, водевили Эжена Лабиша, мелодрамы из современной жизни Александра Дюма-сына. Больше Гюго ничего не предлагал для театра при жизни, хотя писать пьесы не перестал. В «Бургграфах» при желании можно увидеть нечто схожее с «Нибелунгами» Рихарда Вагнера, которые начали ставиться спустя десятилетие, однако в Париже и к Вагнеру успех пришёл не сразу.
Но в 1840-е годы жизнь Гюго состояла не только из выполнений обязанностей главы семьи, академика и пэра, путешествий с Жюльеттой. Чем выше становилось его общественное положение, тем больше он получал возможностей для удовлетворения требований своей чувственности. К великому (теперь уже) поэту и драматургу приходили актрисы в поисках ролей, светские красавицы и дамы полусвета для знакомства и развлечений. Жюльетте Друэ пришлось потесниться в сердце Виктора.
Впрочем, иные дамы задерживались рядом с Гюго надолго. Такова была Леони д’Онэ, вторая после Друэ сильная страсть поэта. Подобно Жюльетте она являлась подругой известного в своё время художника — живописца Франсуа Огюста Биара (старше её на 20 лет), малоталантливого, но мастера саморекламы. Он прославился эффектными полотнами с экзотическими сюжетами, в поисках которых много путешествовал, побывав на Шпицбергене и в Лапландии. О его творчестве дают представление названия картин, например «Битва с белыми медведями» — полностью неправдоподобная, зато броская. В плавании в Арктику его сопровождала юная Леони, которой, чтобы отправиться в путешествие, пришлось преодолеть сопротивление семьи. По тем временам отправиться в научную экспедицию и долгое время находиться без родных и близких было неслыханной дерзостью для девушки. По возвращении Леони с Биаром поженились, и она опубликовала свои заметки об увиденном на Севере.
Во всех смыслах она была женщиной незаурядной и не созданной для размеренной семейной жизни. Встреча в 1843 году в одном из светских салонов 23-летней Леони с Гюго стала для обоих важным событием. Он увлёкся молоденькой путешественницей и какой-никакой писательницей, а она получила поклонника, о котором прежде мечтать не могла — первого поэта Франции. Однако через два года их роман подвергся серьёзному испытанию.
5 июля 1845 года влюблённая пара была застигнута в укромной квартирке в самом центре Парижа ревнивым мужем в сопровождении полиции. Гюго пришлось показать комиссару, желавшему его задержать, свою медаль пэра Франции, означавшую иммунитет от ареста. Но Леони была доставлена в тюрьму Сен-Лазар. Через два месяца её оттуда перевели в монастырь Сен-Мишель, а потом — на полгода в монастырь августинок. Так поступали в то время с жёнами, уличёнными в адюльтере.
Происшествие с Гюго моментально стало известно всему Парижу. В нём он не выглядел героем, поскольку дама сердца оказалась в заточении, а он на свободе благодаря своему иммунитету. В скандал пришлось вмешиваться королю, который дал художнику Биару щедрый заказ, чтобы тот не преследовал поэта своими исками. В противном случае коллегам по палате его бы пришлось судить. Но самым интересным в этой истории было поведение Адели, которую очередная неверность мужа вовсе не огорчила. Для неё главным стало то, что изменили Жюльетте, которую она продолжала ненавидеть. И потому жена взяла на себя обязанность попечительства над Леони, навещала её в монастыре, а по выходе из него принимала любовницу мужа у себя дома. Леони поддерживала связь с Гюго на протяжении нескольких лет, вплоть до его изгнания из Франции. Он, в свою очередь, помогал разведённой по его вине женщине вплоть до её кончины в 1879 году, поскольку её литературных заработков (она начала карьеру писательницы) на жизнь не хватало. Плодом романа с Леони стали прекрасные любовные стихотворения, которые вошли в поздние сборники Гюго.
Помимо Леони и Жюльетты Гюго имел связи со многими женщинами, начиная от проституток и горничных. На пятом десятке лет поэт с лихвой наслаждался тем, чего был лишён в юности. Сегодня бы сказали, что он был одержим «сексуальной зависимостью». Но этот новомодный термин ничего не объясняет. Просто в Гюго было сильно мужское начало, и он жил так, как ему велело сердце. Но любовные приключения 1840-х годов, и прежде всего роман с Леони, помогали забыться от ужасной трагедии, постигшей Гюго.
Его старшая дочь Леопольдина, Дидина, как он называл её в детстве, в которой души не чаял, росла весёлой девочкой, любимицей отца. Он позволял ей рыться в своих рукописях и умилялся её словечкам. В 1838 году Дидина вместе с матерью и остальным семейством, за исключением самого Виктора Гюго, отправились на лето в Вилькье — нормандскую деревушку на Сене, в 40 километрах от устья. Там находилось поместье семьи Вакери, пригласивших их отдохнуть.
К тому времени у Гюго появилось два верных последователя — Поль Мерис и Огюст Вакери, учащиеся лицея Карла Великого. Оба были без ума от его стихов и драм и решили поставить у себя в заведении «Эрнани», на что автор дал разрешение. Молодые люди зачастили к поэту с визитами и стали своими в его доме. Огюст Вакери был сыном богатого нормандского судовладельца из Гавра, который имел виллу в Вилькье. Он и пригласил семью поэта погостить. Там четырнадцатилетняя Леопольдина встретила старшего брата Огюста — Шарля, которому был уже 21 год. На следующее лето визит повторился, и уже сам Виктор сопровождал своё семейство в Нормандию, прежде чем, как всегда, отправиться путешествовать с Жюльеттой. Между Леопольдиной и Шарлем вспыхнула симпатия, и вскоре молодые люди заговорили о браке.