В конце лета 1803 года в Шверине скончалась при родах сестра императора Александра I Елена, бывшая замужем за принцем Мекленбург-Шверинским. Это был новый тяжёлый удар для всей семьи Романовых, которая к тому времени уже значительно уменьшилась: не стало главы царской фамилии, императора Павла I; скончалась в Австрии его старшая дочь Александра; супруга великого князя Константина, саксен-кобургская принцесса, уехала из России, чтобы никогда больше не вернуться; сестра императора Александра I великая княгиня Мария, после бракосочетания с наследным принцем Саксен-Веймарским, в 1804 году покинула Петербург, чтобы жить постоянно в Веймаре. С вдовствующей императрицей Марией остались лишь семь членов её семьи: старшие сыновья Александр с супругой и Константин в одиночестве, дочери Екатерина и Анна да младшие сыновья, Николай и Михаил.
Александр вместе с Елизаветой часто ездил в Гатчину или Павловск, где большую часть времени находилась его мать. Хотя эти визиты и не доставляли особого удовольствия невестке, она тем не менее была счастлива, что хотя бы эти часы её дорогой супруг находится с ней вместе.
Однако к концу 1804 года Александр стал постепенно отдаляться от жены, сохраняя пока ещё внешние приличия. Свою мужскую страсть он отдал княгине Марии Нарышкиной, пригретой когда-то Екатериной II польской красавице. Она яркой звездой всё ещё блистала при петербургском дворе. Перед ней преклонялись, считали за честь быть в её окружении. Про мужа княгини говорили, что у него две должности: явная — обер-егермейстера и тайная — снисходительного супруга.
Лето Нарышкины проводили обычно на своей даче на берегу Малой Невки, неподалёку от Каменноостровского дворца императора. Там часто собиралось высшее общество, устраивались великолепные праздники, балы, фейерверки на реке. Окна каменного двухэтажного дома с колоннами и плоским куполом всегда ярко светились, комнаты были обставлены дорогой мебелью, повсюду царила изысканная роскошь. Красавица хозяйка принимала обычно своих гостей в белом платье, подчёркивающем блеск её чёрных волос, в которых не было ни жемчуга, ни цветов, как требовала мода того времени. Княгиня прекрасно знала, что никаких украшений ей не нужно. «Время словно скользит по этой женщине, как вода по клеёнке. С каждым днём она хорошеет», — говорили современники.
Не устоял перед прелестями Марии и император Александр, который довольно часто стал бывать на даче Нарышкиных, естественно без супруги. Княгиня сумела покорить сердце молодого царя, то играя на нотах восторженной любви, то действуя на его самолюбие. Его благосклонное отношение к ней было сразу замечено. Пошли слухи, что государь якобы разыграл княгиню в лотерею с Платоном Зубовым, бывшим фаворитом его бабушки, и, выиграв, сделал её своей любовницей. Мария же была так хороша, что у многих приближённых не хватало духа осудить императора за эту связь на глазах всего двора. Гёте писал из Карлсбада фон Штейн в 1806 году: «Среди недавно прибывших — красавица княгиня Нарышкина, которая служит доказательством того, что у Александра неплохой вкус».
В письмах матери Елизавета Алексеевна намекала на измену Александра, порой не скрывая своего отчаяния. Она всё ещё была влюблена в своего царственного супруга и с достоинством переносила выпавшие на её долю страдания. Однажды на приёме в Зимнем дворце, который давала императорская чета, Елизавета Алексеевна спросила княгиню Нарышкину о её здоровье. «Не совсем хорошо, — ответила та, — я, кажется, беременна». Обе женщины знали от кого... Но лишь немногие могли понять, как глубока рана оскорблённой жены. Императрицу жалели, императора осуждали, а между собой шептались: «Будь поменьше гордости, побольше мягкости и простоты, и государыня легко бы взяла верх над своей соперницей». Но женщине, особенно царственной, трудно было вдруг изменить себя. Елизавета Алексеевна привыкла к обожанию, она не могла примириться с мыслью, что отныне ей надо изыскивать средства, чтобы угодить супругу. Она охотно приняла бы изъявление его нежности, но добиваться её не хотела. Какая-то апатия овладела бедной принцессой. Ей хотелось иметь ребёнка, а радость стать матерью всё ещё не выпадала на её долю.
К счастью, Александра I вскоре отвлекли внешние события: началась кампания против Наполеона. Закончилась она поражением русских и австрийских войск и невыгодным для России перемирием. Верная супруга страшно переживала эту неудачу и старалась, как могла, чисто по-женски утешить возвратившегося императора. Как всегда в трудные минуты, её мужественная поддержка действовала на императора благотворно. Нарышкиной в то время не было в столице, она уехала в Германию, чтобы поправить своё здоровье, пошатнувшееся после родов. Александр старался чаще быть в обществе своей милой жены.
Весной 1806 года Елизавета Алексеевна почувствовала, что пришёл её черёд вновь стать матерью. Она была очень счастлива и горда этим. Лето, как обычно, императорская чета провела в своём дворце на Каменном острове, а в середине сентября переехала в Зимний. Срок родов приближался.
В начале ноября около пяти часов утра Петербург был разбужен пушечными выстрелами, возвещавшими благополучное разрешение от бремени её величества императрицы. Родилась великая княжна Елизавета.
Через две недели состоялось крещение ребёнка. Секретарь вдовствующей императрицы сделал такую запись в своём дневнике: «18 ноября. Воскресенье. Сегодня день крестить великую княжну Елизавету Александровну. Высочайшее семейство собралось у императрицы Марии, и оттуда состоялся выход в церковь. Новорождённую несла принцесса Амалия. Подушку поддерживали фельдмаршал Салтыков и граф Строганов... Как только началось молебствие, был произведён 301 выстрел из крепости».
По случаю семейной радости некоторым приближённым дамам были пожалованы крест Святой Екатерины или портрет императора Александра I, обрамленный драгоценными камнями. Среди награждённых была и княгиня Наталья Голицына (до замужества княжна Шаховская, любимая фрейлина царствующей императрицы), к которой вдовствующая императрица Мария Фёдоровна была не расположена. Она заранее высказала сыну своё мнение, попросив его, чтобы он вычеркнул фамилию княгини из списка. Государь ответил, что уже поздно, так как он уже обещал... Обещание было дано Елизавете, которая иногда испрашивала милости у своего августейшего супруга. Она старалась всегда находиться в тени событий и в дела мужа никогда не вмешивалась, считая, что не следует стеснять действий супруга и его побуждений. По отзывам современников, баденская принцесса никогда не была императрицей в полном смысле этого слова: всю реальную власть держала в своих руках вдова Павла I, её свекровь.
Весь следующий год прошёл для Елизаветы Алексеевны в заботах о ребёнке, который был для неё большим утешением. Императрицу уже не волновали сплетни и пересуды двора, даже весть о том, что у княгини Нарышкиной от государя вновь родилась дочь, не вызвала особой ревности принцессы; материнские чувства вознаграждали её за утрату любви супруга. Но разве могла она тогда знать, что судьба не даст ей долго наслаждаться своим счастьем?
Наступил 1808 год — год самых страшных испытаний для баденской принцессы. Вначале из-за границы пришло известие, что от скоротечной чахотки скончалась княгиня Голицына, её лучшая подруга, добрый и весёлый характер которой всегда распространял вокруг жизнелюбие и оптимизм и был для императрицы как бы отдушиной в однообразной житейской обстановке. После смерти княгини Елизавета Алексеевна взяла на попечение её маленькую дочь, мечтая сделать её подругой своей Лизоньки.
Но судьба распорядилась иначе. «Дочь императрицы, — как писала в своих воспоминаниях графиня Головина, — стала предметом её страсти и постоянных её забот. Уединённая жизнь стала для неё счастьем; как только она вставала, она отправлялась к своему ребёнку и не оставляла его почти весь день... Но это счастье продолжалось только 18 месяцев. У маленькой великой княгини очень трудно прорезались зубы. Франк, врач Её Величества, не сумел её лечить: ей дали укрепляющие средства, которые увеличили воспаление. В апреле 1808 года с великой княжной сделались конвульсии; все врачи были созваны, но никакое лекарство не могло её спасти. Несчастная мать не отходила от постели своего ребёнка... Стоя на коленях возле кровати, императрица, увидевши свою дочь более спокойной, взяла её на руки; глубокое молчание царило в комнате, там собралась вся императорская фамилия. Императрица приблизила своё лицо к лицу ребёнка и почувствовала холод смерти. Она попросила императора оставить её одну у тела её дочери, и император, зная её мужество, не колебался согласиться на желание опечаленной матери... Императрица оставляла при себе тело своего ребёнка в течение четырёх дней. Затем оно было перенесено в Невскую лавру и положено на катафалк, по обычаю все получили разрешение войти в церковь и поцеловать ручку маленькой великой княжны...»