Кроме того, его сердце было способно к глубокой и романтической любви. В 1780 году в Ревеле, где тогда стоял полк, которым он командовал, у него был бурный роман с графиней Елизаветой Сиверс, уже помолвленной. Графиня родила дочь и вскоре вышла замуж, оставив ребенка отцу. Девочку назвали Екатериной и дали ей фамилию Колыванова по славянскому названию Ревеля — Колывань. Сначала она воспитывалась у сестры князя с ее детьми, а, женившись в 1786 году, Андрей Иванович взял ее к себе. Князь Вяземский очень любил старшую дочь, после долгих хлопот он удочерил ее, но без права на княжеский титул и фамилию. Его женитьба также была романтична: находясь в Англии, он страстно влюбился в ирландку Дженни О’Рейли, увез ее от мужа в Россию, добился ее развода и сочетался с ней браком против воли родителей, потрясенных таким мезальянсом. Однако брак этот оказался счастливым, от него родились дочь Екатерина и сын Петр.

Московский дом Вяземского, по свидетельствам современников, «был одним из приятнейших и ежедневно открытых для друзей и многочисленных посетителей», «был средоточием жизни и всех удовольствий просвещенного общества». Несмотря на богатство хозяев, «он был чужд всякой роскоши и не блистал убранством», но зато в нем имелась «обширная и разнообразная библиотека», но и та «служила не предметом роскоши, а необходимого потребления». «Князь Вяземский посвящал ежедневно, до позднего вечера, т. е. до времени обыкновенного съезда гостей, несколько часов на чтение книг исторических, философских и путешествий. Неизменно первый вечерний посетитель мог быть уверен, что найдет его дома, у камина, в больших вольтеровских креслах, с книгою в руке…»

Среди постоянных посетителей Вяземского, наиболее близких ему по взглядам, вкусам и интеллекту, были люди, оставившие более или менее значительный след в истории русской культуры: граф А. Р. Воронцов, граф Н. П. Панин, князь П. В. Лопухин, адмирал H. С. Мордвинов, князь Я. Р. Лобанов-Ростовский, Ю. А. Нелединский-Мелецкий, князь А. М. Белосельский-Белозерский (отец Зинаиды Александровны Волконской), граф Л. К. Разумовский, граф Д. П. Бутурлин. «Все путешественники (особенно англичане), — пишет современник, — ученые, художники находили в этом доме русское гостеприимство и прелести европейской разговорчивости». П. А. Вяземский писал, что гости его отца принадлежали к разряду «образованных и разговорчивых в смысле разговора дельного, просвещенного и приятного». Отмечает он также, что при этом в доме «женский элемент господствовал наравне с мужским» и «в сфере умственного соревнования проглядывало между двумя полами истинное равноправие».

О темах и характере разговоров с Вяземским дает некоторое представление письмо Карамзина 1796 года, когда князь Андрей Иванович, назначенный нижегородским и пензенским наместником, жил в Нижнем Новгороде. «Вы заблаговременно жалуете мне патент на право гражданина в будущей Утопии, — писал Карамзин. — Я без шутки занимаюсь иногда такими планами и, разгорячив воображение, заранее наслаждаюсь совершенством человеческого блаженства… Когда цветы на лугах Пафосских теряют для нас свежесть и красоту свою, мы перестаем летать зефиром и заключаемся в кабинет для философских мечтаний и умствований, скучных румяному и ветреному юноше, но приятных такому человеку, у которого на лбу холодною рукою времени рисуются уже морщины. Лучше читать Юма, Гельвеция, Мабли, нежели в томных элегиях жаловаться на холодность или непостоянность красавиц… Отсутствие Ваше чувствительно в Москве для всех тех, которые имели честь и удовольствие проводить иногда вечерние часы в Вашем доме, приятном для муз, граций, философов и светских людей».

Свои политические теории Вяземский пытался применить на практике в управлении наместничеством, он был уверен в необходимости тех мер, которые предпринимал. «Вы не можете себе представить, сколько злоупотреблений… в общей администрации империи, — писал он в письме А. Р. Воронцову, одному из наиболее близких приятелей. — При всем ни одного верного правила, ни одного закона, точного в своих подробностях там, где подробности не только в высшей степени нужны, но совершенно необходимы ввиду того, что без ясного их выражения можно почти безнаказанно притеснять ту несчастную часть, которая нас питает, одевает, помещает и защищает». Однако в этом он не нашел поддержки.

О Вяземском-наместнике пишет в своих воспоминаниях служивший тогда пензенским вице-губернатором известный поэт князь И. М. Долгоруков, автор популярного тогда стихотворения «Авось», в котором он воспевал это истинно «русское, милое, простое» слово, которое «всему и всем подпора», поэтому вполне понятно, что он не разделял англоманских увлечений Вяземского. «Самовластен, спесив и горяч до бешенства» — так характеризовал его Долгоруков и далее изобразил «в двух различных видах», в которых его знал. Первый вид — «с приятной стороны»: «человек светский, весьма приятного обращения», образованный, острый, «к нему съезжались лучшие люди, вечера его были занимательны»; второй-«с неприятной», административной: «поступки его со всеми чиновниками были таковы, что никто его не возлюбил, и всякий называл его фанфароном — с бесприкладными его теориями и нелепыми затеями ума, испорченного английскими предрассудками. Он хотел в Пензе создать Лондон и, начав с сей точки, что ни делал, что ни писал как начальник русской провинции, все было не у места и некстати».

В царствование Павла Вяземский вышел в отставку, поселился в Москве и занялся строительством в своей подмосковной деревне — Остафьеве. В эти годы отношения Вяземского и Карамзина становятся более близкими и дружескими. Из посетителя общих вечеров Карамзин превратился в особенно желанного гостя. П. А. Вяземский, в то время мальчик, вспоминает, что они с младшей сестрой сердились на него: «В те редкие вечера, когда салоны наши не переполнялись посетителями, а было два-три человека, иногда и никого, отец оставлял нас, детей, ужинать с собою, обыкновенно в одиннадцатом часу. Понятно, что эти дни дорого ценились нами. Не знаю, по какому случаю и по каким соображениям, Карамзин бывал гостем нашим именно в эти исключительные дни. Отец был великий устный следователь по вопросам метафизическим и политическим; сказывали мне, бывал он иногда и очень парадоксальный, но блестящий спорщик. Беседы и прения его с Карамзиным длились без конца. В ожидании вожделенного ужина мы дремали в соседней комнате, а ужин был все отлагаем позднее и позднее».

Осенью 1803 года Карамзин заметил, что его влечет в дом Вяземских не столько беседа с князем, сколько желание видеть старшую дочь Вяземского, Екатерину Андреевну. Он был старше ее на 14 лет: ему — тридцать восемь, ей — двадцать четыре. Екатерина Андреевна, как догадывался Карамзин, была влюблена в него. Ему все чаще вспоминался странный сон, который он увидел незадолго до кончины Лизаньки. Однажды, утомленный, умученный бессонницей, он уснул и увидел сон: он стоит у вырытой могилы, а на другой стороне — Екатерина Андреевна и подает ему руку…

В декабре 1803 года Карамзин сообщает о предстоящей женитьбе на Екатерине Андреевне другу юности, с которым подружился в Париже во время путешествия, барону Вильгельму фон Вольцогену. «После того, как в течение 18 месяцев я был погружен в глубочайшую печаль, я открыл, что сердце мое еще чувствительно к радости любить и быть любимым. Молодая девушка, прекрасная и добрая, обещала любить меня, и я через несколько недель надеюсь стать ее супругом. Будучи уверен в Вашей дружбе, я уверен также в участии, которое Вы примете в этой перемене моей судьбы. Я осмеливаюсь еще надеяться на счастье; Провидение довершит остальное. Я знаю, я мог бы лишь медленно угасать, не имея такой привязанности. Моя первая жена меня обожала; вторая же выказывает мне более дружбы, и этого мне достаточно…»

С Вольцогеном Карамзин более откровенен, чем с кем бы то ни было. 10 февраля 1804 года, месяц спустя после венчания, он пишет ему: «Я вверил ей свою судьбу и надеюсь, что не пожалею об этом никогда. Да, дорогой мой барон, литератор, привязанный занятиями к своему очагу, живее других чувствует необходимость в нежной и верной подруге». И еще два месяца спустя, в апреле, вновь подтверждая правильность выбора, он элегически размышляет: «Да, милый барон, я должен лишь благодарить Провидение за мое теперешнее положение, в котором мне почти нечего желать. Милая и нежная супруга, и добронравная — настоящее сокровище в этом мире… Разочаровавшись в иллюзиях, которые манят в юности, человек учится ценить домашнее счастие как самое истинное из всех радостей. Однако и мне бывает подчас грустно. Я никогда не смогу ни забыть мою первую жену, ни думать о ней без умиления. Блажен тот, кто может смотреть на могилы, не вспоминая о счастии, ими похищенном! Воспоминания заставляют нас беспокоиться о тех благах, которыми мы еще располагаем. Можно преодолеть страх смерти, но как не бояться ее власти над всем, что нам дорого?..»