Гостиница, в которой расположилось посольство Франции, скоро стала центром притяжения для всех австрийцев и немцев, которые разделяли идеи французской революции. После знакомства в доме Крейцера у Бернадота часто бывали Л. Бетховен, берлинский музыкант Хуммель и др.
Бернадот к этому времени уже устал от той роли, которую ему навязали Талейран и Директория. В Париже это заметили и не преминули одёрнуть его за то, что он в кругу венской аристократии стал терять свой "республиканизм". Талейран, в частности, ссылался на статьи в прусских газетах, в которых утверждалось, что сотрудники французского посольства в Вене перестали носить триколор. Талейран писал, что он, естественно, не верит пруссакам, но на вид Бернадоту поставил. Этим же письмом Талейран отозвал из посольства двух адъютантов генерала. Последнее до чрезвычайности разозлило Бернадота, и 11 и 12 апреля, т. е. уже через два месяца дипломатической работы, он в двух письмах сообщил Талейрану о своём желании вернуться в армию и тут же перевёл часть своих банковских вкладов в векселя. Но он не успел получить на своё ходатайство ответа, потому что в тот день, когда он занимался банковской операцией, события в Вене развернулись таким образом, что самым драматичным способом положили конец его пребыванию в Вене.
13 апреля Вена праздновала годовщину выступления ополчения против Итальянской армии Наполеона в Штайермарке. Примерно в 6 часов пополудни Бернадот по собственной инициативе приказал вывесить у своей резиденции большой трёхцветный флаг с надписью: "Французская республика. Посольство в Вене", который он заказал накануне у местного портного Келлера и который около 5 часов пополудни был доставлен на Валльнерштрассе. Ещё ранее Бернадот заказал для посольства в Париже табличку с гербом республики, но поскольку она не пришла, а реприманд Талейрана всё ещё звучал в ушах Бернадота, то он решил компенсировать её отсутствие флагом.
Некоторые историки и биографы Бернадота утверждают, что он специально приурочил вывешивание триколора к празднику венцев, но Хёйер категорически отвергает эту версию, главным образом из-за того, что годовщину народного ополчения Вена собиралась праздновать только через четыре дня. Шведский посол Сильверстольпе между тем отметил, что император Франц II очень хотел бы, чтобы венцы в этот день именно перед посольством Франции продемонстрировали ему свою преданность.
В дипломатическом корпусе Вены вывешивание флагов на зданиях посольств не практиковалось. Согласно тогдашним обычаям, иностранные знамёна вывешивали только в случае завоевания города. И венцы восприняли эту манифестацию как вызов. На Валльнерштрассе собралась большая толпа и стала требовать флаг убрать. Шеф венской полиции Лей, который прибыл на место между 7 и 8 часами, полагал, что народу перед посольством было не более 300 человек, в то время как пара свидетелей происшествия утверждали, что их было всего около 40 человек. Полиция посоветовала послу уступить требованиям толпы или, в крайнем случае, связаться с Министерством иностранных дел и объясниться. Бернадот наотрез отказался сделать и то и другое.
Стемнело. Толпа не только не рассеивалась, но с каждым часом увеличивалась в размерах. Собравшиеся на балконе посольства французские дипломаты ещё более подогревали её своими колкими замечаниями и язвительными выкриками — поведение, недостойное любого дипломата. Среди них особенно провокационно вел себя секретарь Годэн и его супруга. И тогда в одно из окон посольства, что рядом с триколором, полетел камень. Раздался звон разбитого стекла. Камень бросили, по утверждению Хёйера, отнюдь не из толпы, а из дома напротив, где находилась таверна под причудливым названием "Где волк читает проповедь гусям". Кто-то из его подвыпивших посетителей — то ли "гусь", то ли "волк" — запустил камень через улицу.
И тут Бернадот допустил ещё одну оплошность. Вместо того чтобы подействовать на полицию, чтобы она разогнала толпу, он сам вышел на улицу — по свидетельству очевидцев, "в голубом вышитом золотом мундире, с вышитыми золотом же ножнами, при сабле и в шляпе с золотым кантом, украшенной плюмажем" — и стал по-французски, "с республиканской энергией", как он потом написал Талейрану, выкрикивать угрозы в адрес собравшихся. Австрийцы не понимали языка, но уяснили, что им громко угрожали, и это ещё более враждебно настроило их против посла и его людей. Время было примерно половина девятого, и полиция снова посоветовала послу спустить флаг, но это не возымело на него никакого действия. Он заявил, что будет защищать триколор до последней капли крови. Талейран мог быть довольным своим послом! А. Палмер утверждает, что в этот злополучный вечер посол хорошенько выпил, но против этого предположения резко выступает Хёйер, утверждающий, что это не соответствовало истине. Посол был трезв как стёклышко, он просто был возбуждён.
Камни из толпы летели теперь градом. Вернувшись с улицы, Бернадот сочинил ноту Тугуту, в которой обвинял полицию в бездеятельности и требовал примерного наказания виновных. Ноту в МИД повёз адъютант Морэн. Тугут устно пообещал Морэну принять меры, но прошло не менее часа, пока не появились солдаты, но и они ничего не предпринимали, потому что их было слишком мало. Летели камни, звенели разбитые стёкла, а самые возбуждённые преодолели ограду и стали карабкаться на балкон. Какой-то отчаянный венский Гаврош сумел ухватиться за древко и спустить флаг. Толпа подхватила его и в триумфальном шествии понесла на площадь Шотценплатц. Там толпа встретила карету князя Коллоредо, остановила её и, вырвав у сопровождавших её скороходов факелы, подожгла ненавистный французский триколор. Удовлетворив таким способом свою месть Франции, венцы пошли к императорскому дворцу и выразили свои верноподданнические чувства. От дворца отделился гвардейский офицер и подобрал остатки флага.
Полиция, чтобы излишне не раздражать народ, действовала осторожно и мягко, ограничившись лишь выставлением вокруг посольства Франции жидкой цепочки своих людей. Такое отношение было воспринято толпой по-своему: она проникла на территорию сада посольства, разбила окна, сломала двери, ворвалась внутрь здания и стала крушить мебель и прочую обстановку. Некоторым удалось войти в гараж и разломать экипажи Бернадота и секретаря Годэна. Дело начинало принимать дурной оборот.
Бернадот отправил в МИД Австрии вторую ноту протеста и обвинил власти в фактическом потворстве бесчинствам разбушевавшейся толпы. Он также потребовал выдать ему паспорт, потому что больше не может оставаться на своём посту — по крайней мере, до тех пор, пока австрийские власти не накажут зачинщиков всех безобразий. Бернадот требовал теперь от Тугута немедленного и категоричного ответа. Ноту повёз личный секретарь посла Феррагю, но по дороге его избили, и конверт с документом пришлось везти французскому врачу Франценбергу, который ещё встретится нам на страницах этой книги.
Пока составлялась нота, слуги Бернадота, находившиеся на первом этаже, дали по толпе залп из пистолетов и легко ранили одного из смутьянов. Толпа на минуту отхлынула назад, но возвратилась снова и стала атаковать покои самого посла. Бернадот со своими офицерами обнажили сабли и собирались дорого продать свои жизни.
Около 23.00 Бернадот принялся за составление третьей ноты Тугуту, в которой указал, что погром посольства продолжался уже около 5 часов, а власти ничего не предприняли для его защиты и даже не ответили на его две предыдущие ноты. Он снова потребовал себе и секретарям паспорта. Половина помещений посольства в этот момент находились под контролем толпы, трижды пытавшейся штурмовать главную лестницу на второй этаж, и посол с сотрудниками удалился в заднюю часть дома и ожидал, чем всё это кончится. Наконец прибыла кавалерия и быстро рассеяла толпу и очистила посольство от посторонних. По отчёту Бернадота в Париж, это случилось между 11 и 12 часами ночи. Лей написал в своём отчёте, что полный порядок был восстановлен к часу ночи. А. Блумберг справедливо полагает, что войска и полиция прибыли к месту событий подозрительно поздно.