Однако Людвиг все еще жаждал императорской коронации, поэтому, когда его сторонники-гибеллины в Италии умоляли его собрать армию, чтобы выступить на их защиту, он решил воспользоваться этим случаем и быть коронованным в Риме, Папой или не Папой. Кроме того, чтобы наказать короля Роберта за то, что он отправил своего сына во Флоренцию и нарушил баланс сил в регионе, а также чтобы еще больше насолить своему антагонисту, Папе, Людвиг решил напасть и на Неаполитанское королевство. Для этого он заключил союз с самым страшным врагом неаполитанцев, Федериго III Арагонским, королем Сицилии. План состоял в том, чтобы окружить, а затем захватить Неаполь: Людвиг с императорской армией с севера по суше, а Федериго со своими сицилийскими войсками — с запада, по морю.

Неаполитанцы знали, что близость к враждебной Сицилии делает их уязвимыми для войны на два фронта, и давно опасались именно такой ситуации. Роберт в Неаполе и Карл во Флоренции внимательно следили за продвижением Людвига по Италии. Понимая, что его главной целью является Неаполь, многие северные итальянские города с радостью подчинились Людвигу, чтобы он оставил их в покое. Гибеллинские города Милан, Верона, Феррара и Мантуя распахнули ворота перед императором, а их лидеры были вознаграждены имперскими титулами. Злейший враг флорентийцев, Каструччо Кастракани, из-за которого и начались все неприятности, стал герцогом Лукки, вступив в союз с императором и помогая его войскам отбить Пизу у гвельфов. В январе 1328 года Людвиг с триумфом въехал в Рим, где удовлетворил свои амбиции, будучи коронованным императором Священной Римской империи одним из своих сторонников. "Таким образом Людвиг Баварский был коронован императором народом Рима, к великому позору и оскорблению Папы и Святой Церкви, — пишет об этом Джованни Виллани в своей хронике, —  Какое самомнение у проклятого баварца! Нигде в истории мы не находим, чтобы император, каким бы враждебным к Папе он ни был раньше или стал потом, когда-либо позволял короновать себя кому-либо, кроме Папы или его легатов, за единственным исключением этого баварца; и этот факт вызвал большое изумление"[15].

В этот момент король Роберт счел ситуацию достаточно тяжелой, чтобы отозвать Карла домой и подготовиться к ожидаемому германскому вторжению. Герцог Калабрийский вместе со своей беременной женой и двухлетней дочерью, а также со всем своим двором выехал из Флоренции, оставив город под защитой наместника с армии в 1.000 солдат, и мрачном настроении направился в Неаполь, смирившись с предстоящей войной.

Но, как это часто случалось в Средние века, в дело вмешались политика, тщеславие и банальная случайность. Папа, узнав о коронации Людвига в Риме, нанес ему ответное оскорбление, издав в Авиньоне буллу, низлагающую его как императора. В отместку Людвиг подписал прокламацию о низложении Папы и назначил в Риме нового, по своему выбору. Затем, вместо того чтобы уйти из города и объединиться с сицилийцами, Людвиг, возможно, реагируя на критику, высказанную Виллани, остался в Риме, чтобы организовать вторую свою коронацию, на этот раз назначенным им Анти-Папой. Празднества, связанные с этой второй коронацией, настолько истощили финансовые ресурсы императора, что он больше не мог платить своей армии, и поэтому, когда жители Рима восстали против него в августе 1328 года, Людвиг был вынужден отступить в Германию. Анти-Папа бежал в Пизу, но вскоре попал в руки врагов, и провел оставшиеся дни в заключении во Франции. Перспективы гибеллинов в Италии были еще больше подорваны внезапной смертью Каструччо и неспособностью сицилийцев вовремя организовать наступление, чтобы скоординировать действия с силами императора. К 1330 году Неаполю больше ничего не угрожало, Рим снова согласился с заочным руководством Папы из Авиньона, и все стало как прежде, а флорентийская синьория даже восстановили законы о роскоши.

Бесславное отступление императора можно было бы считать безоговорочным триумфом неаполитанцев, если бы оно не было омрачено трагедией: неожиданной смертью герцога Калабрийского после возвращении в Неаполь. Отец Иоанны умер 9 ноября 1328 года, но не от засады устроенной врагами во время его поспешного возвращения домой, не от ран или падения с лошади, во время подготовки к войне, а от лихорадки, вызванной длительным нахождением на жаре во время его любимой соколиной охоты. Кронпринц был похоронен в усыпальнице при церкви Санта-Кьяра в одном из "стойл", которые он ранее высмеивал. "Корона упала с моей головы"[16], — скорбел убитый горем Роберт. Остроумный ответ Роберта, на насмешку своего сына, сбылся, или, возможно, хронисты, как это часто случалось, сочинили этот пророческий ответ уже позже.

Когда три года спустя умерла и их мать, Мария Валуа, и ее тоже похоронили в церкви Санта-Кьяра, Иоанна и ее младшая сестра, Мария, остались сиротами. В результате девочки воспитывались при роскошном дворе своего деда по отцовской линии, Роберта, короля Неаполя, и его второй жены, Санции (Санчи) принцессы Майоркской.

Ни кто не повлиял на жизнь Иоанны так как это сделали ее дедушка и бабушка — король Роберт и королева Санция. С пятилетнего возраста Иоанна жила с этими двумя сильными, харизматичными, но совершенно непохожими друг на друга людьми и их многочисленным двором обосновавшемся в большом неаполитанском замке-дворце Кастель-Нуово. Все, что будущая королева Неаполя должна была понять о любви, жизни, поведении, образовании, литературе, религии, благочестии и особенно об обязанностях королевской власти и роли государя в обществе, сформировалось в этот период либо благодаря непосредственным наставлениям ее бабушки и дедушки, либо благодаря наблюдению за их поведением. Ни одна школа не могла предложить более основательную подготовку к царствованию, чем королевский двор Неаполя. Роберт и Санция обладали характерами сочетавшими в себе непримиримые противоречия: приверженность к пышности и одновременно к строгости, светкости и религиозности, сладострастию и целомудренности, благородству и вероломству.

Роберт был человеком с блестящей репутацией, им восхищались во всей Европе за его ученость, за его мастерство в расширении своих владений за счет соседей (и императора) и за его способность управлять такими отдаленными и непохожими друг на друга территориями, как Южная Италия и Прованс. Его повсеместно называли Робертом Мудрым — прозвище, данное не из-за уважения к его суждениям, а скорее за его способность сочинить и произнести около трехсот проповедей на латыни, талант, который был явно не характерен для его коллег-монархов восседавших на других тронах Европы. Но как пишет Боккаччо в детстве Роберт предпочитал бросаться камнями, а не учиться. Один из современников, хорошо знавший королевскую семью, дошел до того, что назвал его тупицей. Роберт отказывался учиться читать, пока кому-то из домочадцев не пришла в голову идея обучать его не благочестивым псалмам из обычного псалтыря, по которым большинство средневековых детей учились грамоте, а забавным и нравоучительным басням Эзопа. И это сработало; Роберт научился читать и, в конце концов, пристрастился к книгам. За время своего правления он собрал огромную библиотеку и был известен своим покровительством ученым и писателям. "Кто в Италии, да и во всей Европе, был более выдающийся, чем Роберт?"[17] — писал Петрарка своему другу в 1339 году.

Жизнь Роберта изменилась навсегда, когда его отец, Карл Хромой (впоследствии король Неаполя Карл II), старший сын основателя династии Карла Анжуйского, проиграл битву за Сицилию и попал в плен к королю Арагона. Желая освободиться из плена, Карл Хромой в 1288 году поручил трем своим младшим сыновьям — четырнадцатилетнему Людовику, десятилетнему Роберту и семилетнему Раймунду Беренгеру — занять его место в плену до тех пор, пока не будет заключен договор.