Неудивительно, что в результате подобной политики Людовику Венгерскому было трудно завоевать расположение местных баронов, что было необходимым шагом на пути к укреплению его власти над королевством. Ему нужны были знатные семьи, такие как Бальцо и Сансеверино, в качестве администраторов, но бароны и сеньоры этих домов, потрясенные венгерскими репрессиями, отказывались сотрудничать и вместо этого замышляли восстание. (Король Венгрии, настолько мало понимал своих новых подданных и их отношение к его покойному брату, что присвоил имущество, принадлежавшее братьям Пипини, и изгнал старшего из них из Неаполя, что, естественно, привело к переходу членов семьи на сторону оппозиции, где они внесли свой весомый вклад). Поначалу это восстание проявилось в форме неповиновения: когда король Венгрии требовал, чтобы граф или барон явился ко двору и повиновался своему новому государю, Людовик неизменно получал вежливый ответ, что, к сожалению, болезнь не позволяет вассалу явиться на аудиенцию.

Это оправдание приобрело новый, гораздо более угрожающий оттенок в конце апреля, когда в Неаполь нагрянула чума. Боккаччо, находившийся в королевстве во время венгерской оккупации, оставил в Декамероне пронзительное описание Черной смерти:

По некоторым оценкам, за три месяца Неаполитанское королевство потеряло почти половину своего населения.

Учитывая эти обстоятельства (враждебно настроенное население, отсутствие папской поддержки и внезапное появление страшной, неконтролируемой, смертельной болезни), Людовик Венгерский резко пересмотрел свое решение остаться в Южной Италии. 24 мая 1348 года, сопровождаемый лишь небольшой свитой, он тихо ускользнул на корабле из порта Барлетта на восточном побережье, оставив основную часть своей армии. Король уехал так незаметно, что многим его новым подданным потребовалась почти неделя, чтобы понять, что захватчик ушел.

Новость о бегстве Людовика Венгерского достигла Авиньона почти сразу после того, как стала широко известна в Неаполе, и наполнила Иоанну и ее теперь уже законного мужа новыми неотложными задачами. 31 мая Людовик Тарентский отправил во Флоренцию письмо, в котором сообщал, что он и королева готовятся вернуться в Неаполь, чтобы отвоевать королевство, а 3 июня Иоанна направила своему правительству в графстве письмо с требованием явиться 15 июня в Экс-ан-Прованс, для обсуждения контрнаступление. Но ничего нельзя было сделать без денег, а их явно не хватало. Королеве уже пришлось заложить все свои самые ценные вещи, включая два седла, отделанных бархатом и усыпанных драгоценными камнями, драгоценности, несколько золотых статуэток, одну в виде орла, и даже корону, которую она надела для выступления в консистории, чтобы оплатить повседневные расходы, и все вместе это принесло ей всего 18.000 флоринов. Но для ведения военных действий ей требовалось значительно больше.

Существовал только один способ быстро собрать необходимую сумму: продать какие-либо земельные владения. 6 июня королева и ее главный финансовый советник Никколо Аччаюоли (теперь, в знак признания его неоценимых заслуг перед государыней, ставший новым графом Терлицци) вступили в переговоры с папством о передаче города Авиньона под власть Церкви. Климент, который не собирался возвращаться в Рим и уже вложил немалые средства в строительство папского дворца как новой постоянной резиденции своего двора, очевидно, давно об этом мечтал. Добровольное отчуждение части своего королевства не было в характере Иоанны; королева явно пошла на этот шаг неохотно и только в качестве крайнего средства. Она планировала, что сделка будет временной и заложила город, как заложила свои драгоценности, что было обычной практикой в Средние века. В трех последующих письмах королева ссылалась на устные обещания Папы, данные ей в присутствии по крайней мере одного кардинала, что она сможет выкупить Авиньон в любое время возвратив одолженную сумму. Согласовав условия, сделку совершили всего за три дня. 9 июня был подписан договор, по которому Иоанна получала 80.000 золотых флоринов в обмен на передачу города Авиньона. 18.000 из них пошли на выкуп драгоценностей королевы, так как она не собиралась возвращаться в Неаполь без своей короны.

Как только эти средства были получены, подготовка к отъезду Иоанны и Людовика пошла ускоренными темпами. 11 июня королева отправила в Неаполь письма, в которых призывала различных высокопоставленных представителей аристократии, включая членов семей Сансеверино и Бальцо, а также бывшего адмирала флота, принять участие в борьбе за возвращение королевства. Четыре дня спустя представительная ассамблея в Экс-ан-Провансе выделила двести рыцарей для участия в предстоящих военных действиях. А 23 июня Климент издал буллу, по которой королева получала десятую часть всех ежегодных церковных доходов Прованса, которые обычно предназначались для организации крестовых походов, и могла использовать их для отвоевания своего королевства. Двенадцать галер и большие транспортные суда были наняты для перевозки Иоанны, Людовика и их войск в Неаполь. В это же время Иоанна одолжила королю Майорки вспомогательный флот из провансальских кораблей, чтобы помочь ему в отвоевывании его королевства, — убедительное свидетельство того, что ее кузен-король действительно помогал ей в стремлении получить папскую поддержку.

Из Неаполитанского королевства в Прованс приходили обнадеживающие вести. 18 июня адмирал во главе отряда дворян вынудил противника вступить в бой и одержал победу; а сын Никколо Аччаюоли, Лоренцо, после продолжительной осады захватчиками, удержал город Мельфи, самый центр королевства. Воодушевленные этими военными успехами, жители Неаполя подняли в столице знамя королевы и отправили в Авиньон делегацию с призывом к Иоанне как можно скорее вернуться на родину. Потребовалось всего несколько месяцев венгерского правления, чтобы убедить местную аристократию в достоинствах правления их прежней государыни.

Королева находилась на последних неделях беременности и не могла рисковать отправившись в морское путешествие, но она отправила Никколо, снабженного большим количеством денег и получившего звание великого сенешаля королевства, в Тоскану, чтобы набрать наемников и привлечь союзников. 30 июня Иоанна родила дочь Екатерину, а 3 июля она и Людовик Тарентский официально обратились к Клименту с просьбой о покровительстве над ребенком. На следующий день Папа отправил письма и эмиссаров сторонникам Иоанны в Неаполе, поощряя баронство и церковников продолжать сопротивление венграм и советуя хранить верность королеве.