Утром, в начале сентября 1504 года, Филиберт снова отправился на охоту, оставив жену в Пон-д'Айн, и, хотя погода была чрезвычайно жаркой, несколько часов преследовал дикого кабана. Все его приближённые остались позади, а лошадь устала от жары и долгой езды. Тогда он пустился пешком по узкой долине около полудня и, наконец, прибыл, запыхавшийся и обливающийся потом, к источнику Святого Вульбаса. Восхищённый этим местом, он приказал догнавшим его слугам подать себе еду в тенистой роще, но вскоре его внезапно охватил озноб, и, прижимая руку к боку от сильной боли, он вскочил на лошадь и с трудом поехал обратно в Пон-д'Айн, в то время как его свита печально последовала за ним. По прибытии в замок герцог тяжело рухнул на кровать. Тотчас послали за Маргаритой, которая, пытаясь всеми доступными ей средствами облегчить его состояние, в большой спешке послала за врачами. Когда они приехали, герцогиня дала им растереть в порошок свой драгоценный жемчуг и наблюдала, как они готовят из него эликсир, который, как она надеялась, спасёт герцогу жизнь. Кроме того, она дала много обетов и отправляла подношения в отдалённые святилища, призывая на помощь своими молитвами Небеса. Но Филиберт тяжело заболел плевритом, хотя его крепкое телосложение несколько дней сопротивлялось болезни. Врачи пустили ему кровь, тем не менее, все их усилия были напрасны, и вскоре им пришлось признаться, что они больше ничего не могут сделать.

– Он сам, чувствуя приближение своего конца, встал и отправился проститься со своей дорогой спутницей, крепко обняв её, – писал тот же хронист.

 «Попросив о последних таинствах и многими делами веры и преданности продемонстрировав свою любовь к святой христианской вере», герцог Филиберт скончался на руках Маргариты 10 сентября 1504 года, в девять часов утра, на двадцать четвёртом году жизни, в той же комнате в замке Пон д'Айн, где он впервые увидел свет.

Маргарита была безутешна: рассказывают, что её рыдания эхом разносились по всему замку. Она даже попыталась выброситься из окна, но была спасена. Всё герцогство Савойское скорбело вместе с ней по молодому принцу, чья жизнь внезапно оборвалась в расцвете лет.

Маргарита приказала забальзамировать сердце мужа, чтобы всегда держать его при себе. Тело же Филиберта облачили в герцогские одежды со знаками отличия его ранга и уложили на парадную кровать в просторной комнате, дабы подданные могли проститься со своим господином. Затем останки были помещены в свинцовый гроб, на котором выгравировали все титулы покойного, и его похороны прошли с большой помпой. Магистраты Бурга изготовили сотню факелов с гербом города, которые несли горожане, сопровождающие тело из замка Пон д'Айн в церковь Нотр-Дам, хотя Маргарита хотела, чтобы её мужа похоронили в монастырской церкви Бру, рядом с могилой его матери, Маргариты Бурбонской.

В 1480 году отец Филиберта во время охоты неподалеку от того же места, где позже его сын заболел смертельной болезнью, упал с лошади и сломал руку. Его тоже перевезли в Пон-д'Айн, и его жизнь была в опасности. Тогда Маргарита Бурбонская дала обет, что, если её муж выживет, она оснуёт монастырь ордена Святого Бенедикта в Бру. Герцог выздоровел, но его супруга умерла в 1483 году, не успев выполнить обет и завещав это своему сыну Филиберту, чья ранняя смерть также помешала воплотить в жизнь её желание. Теперь Маргарита взяла на себя обязанность основать монастырь, а также воздвигнуть для них обоих, и, прежде всего, для того, кого она любила, как писал Жюль Бо в «Истории церкви Бру», «большую гробницу, которая должна была стать их брачным ложем», где она сама упокоится, когда придет её время.

Убитая горем бездетная вдова, во второй раз лишившаяся любимого мужа, она почувствовала, что вся радость в жизни для неё закончилась. Сразу после смерти мужа принцесса отрезала свои прекрасные золотистые волосы и приказала сделать то же самое своим фрейлинам. Маргарита провела несколько лет своего вдовства в замке Пон д'Айн, где до сих пор сохранились следы её пребывания. Так, она сделала несколько пристроек к зданию, а главная лестница носит её имя. Здесь дочь императора жила в уединении, оплакивая свою судьбу и описывая своё одиночество и печаль в прозе и стихах:

Неужели мне всегда придётся так томиться?

Неужели я должна так скоро умереть?

Неужели уж ничьё не будет рядом сердце биться?

Как же долго приходится это терпеть!

Филиберт оставил слишком глубокий след в сердце Маргариты. Отныне почти на всех своих портретах она изображается в чёрном траурном платье и белом вдовьем покрывале. За что придворный поэт Жан Лемер присвоил своей госпоже титул «Дама траура».

Кроме многочисленных стихов, Маргарита увековечила память о главных несчастьях своей жизни с помощью придуманных эмблем и девизов, что было очень модно в то время. Когда она вернулась во Фландрию после своей расторгнутой помолвки с Карлом VIII, это было изображение высокой горы с ураганом, бушующим вокруг вершины, и надписью под ней: «Perflant altissima vent» («Самый сильный ветер»). Эта эмблема остроумно выражало идею о том, что те, кто занимает высокое положение, более других подвержены ветрам невзгод. После смерти принца Хуана Астурийского и её ребёнка Маргарита взяла себе другую эмблему: дерево, усыпанное плодами и разбитое молнией с девизом: «Spoliat mors munera nostra» («Смерть лишает нас даров»). Наконец, став вдовой Филиберта, она сочинила свой последний, самый знаменитый девиз, который можно видеть на надгробиях, стенах и витражных окнах церкви в Бру: «Fortuna infortunat fortiter unam». Историки истолковывают его по-разному, например, «Фортуна дурно обращается с дамой» или «И удача, и несчастье делают даму сильнее».

Её мысли были постоянно заняты надгробием в Бру, которое она хотела воздвигнуть в память о своём третьем муже. Маргарита решила пожертвовать на эту цель своё приданое, которое, согласно брачному контракту, ей должны были вернуть. Однако плачевное состояние финансов герцогства не позволяло брату Филиберта, Карлу III, унаследовавшему савойский престол, выплачивать ей 12 000 экю в год. Ведь помимо Маргариты, были ещё три другие вдовствующие принцессы Савойские, получавшие доход от значительной части его поместий: Бланш Монферратская, вдова Карла I, Клодин Бретанская, вдова Филиппа I, и, наконец, Луиза Савойская, сестра Карла III.  Тех доходов, которые Маргарита получала от собственности в Брессе, Во и Фосиньи, согласно своему брачному контракту, было явно недостаточно. Поскольку герцог Савойский оставался глух к её жалобам, она обратилась к своему отцу и даже отправилась в Германию, чтобы убедить Максимилиана оказать ей поддержку. В свой черёд, Карл III прислал четырёх юристов, уполномоченных уладить это дело. Во время встреч, которые состоялись в Страсбурге, Маргарита объяснила мотивы, которые заставили её настаивать на выполнении условий, касающихся её приданого:

– Моё намерение состоит в том, чтобы основать церковь и монастырь на месте приората Бру, где упокоились госпожа Маргарита Бурбонская и герцог Филиберт. Поэтому я должна собрать все свои средства, чтобы покрыть расходы, которых потребует такое пожертвование.

Дочь императора также указала, что, согласно завещанию Маргариты Бурбонской, церковь и монастырь должны были быть возведены за счет её наследников. Теперь, когда герцогом стал Карл, он не может отказаться от выполнения последней воли своей матери, но поскольку она, Маргарита, предложила решить эту задачу за свой счёт, он поступил опрометчиво, оспаривая то, что по закону ей причиталось. Посланцам Карла III нечего было возразить на этот аргумент, кроме одного:

– Увы, мадам, казна герцогства пуста!

Наконец, 5 мая 1505 года в присутствии Максимилиана I в Зале рыцарей ордена Святого Иоанна Иерусалимского в Страсбурге был подписан договор, по которому Карл III даровал Маргарите графство Виллар и сеньорию Гурданс со всеми правами управления, а также разрешением на выкуп заложенных земель Бресса за сумму 12 000 флоринов. После ратификации этого договора Маргарита вернулась в замок Пон-д'Айн, чтобы осуществить свои планы. Там она созвала совет и объяснила свои намерения. Обет Маргариты Бурбонской заключался в том, чтобы построить церковь в честь святого Бенедикта, однако дочь императора пожелала передать церковь и монастырь Бру под защиту святого Николая де Толентина, недавно канонизированного и известного большим количеством чудес.