Поскольку было известно, что, по выражению Папы Римского, Иоанна и Андрей ссорились, неудивительно, что примерно в это время хронисты начали сообщать о некоторых слухах, касающихся сексуального поведения Иоанны. (Как и любой другой эвфемизм, "ссора" не отражает отношения молодой пары; очевидно, он ей угрожал ей, а она его презирала). Доменико да Гравина обвиняет императрицу Екатерину в том, что она подстроила так, чтобы ее второй сын, Людовик Тарентский, пробрался в постель Иоанны, а Боккаччо предполагает, что на самом деле любовником королевы был Роберт ди Кампанья, которого Иоанна только что возвела в графы. "Ведь Иоанна была выдана замуж за Андрея… а когда король Роберт умер, королева Санция удалилась в монастырь",[115] — пишет Боккаччо в своей биографии Филиппы ди Катанья.

Невозможно сказать, было ли все это правдой. Конечно, Иоанна никогда не была поймана на месте внебрачной связи. Существование двух разных любовников, а не одного, и другие разные истории, казалось бы, ставят под сомнение осведомленность хронистов. (Джованни Виллани утверждает, что Иоанна также имела в любовниках сына Карла д'Артуа, Бертрана, и нескольких других дворян, включая старшего брата Людовика, Роберта Тарентского. Но Виллани, сидевший в то время в тюрьме за участие в одном из разорившихся флорентийских банковских концернов, чьи активы захватили Иоанна и Санция, вряд ли является надежным источником). Но как признает сам Боккаччо, "при малейшей близости с мужчиной, позор легко может запятнать самую благородную женщину"[116].

Слухи о развратной поведении Иоанны также должны быть сопоставлены с ее глубокой религиозностью, о которой Петрарка рассказывает в письме к кардиналу Колонна после особенно сильной бури в прошлом году. "Боже правый! Когда еще слышали о подобном?… Весь берег был покрыт разорванными и еще живыми телами: чьи-то мозги проплывали здесь, чьи-то кишки — там. Среди этого зрелища крики мужчин и стенания женщин были столь громкими, что перекрывали шум моря и неба… Тем временем младшая королева [Иоанна], босая и с распущенными волосами, в сопровождении большой группы женщин, вышла из королевского дворца, не считаясь с большой опасностью, и все они поспешили в церковь Святой Девы, молясь о ее милости перед лицом таких опасностей"[117]. Покинуть относительную безопасность замка и отважиться выйти из него в страшную бурю, чтобы помолиться за свой народ, вполне отражает воспитание Иоанны Санцией и делает сообщения о многочисленных прелюбодеяниях королевы несколько менее правдоподобными. Тем не менее Иоанна была бы не первой восемнадцатилетней девушкой, флиртующей с мужчинами, особенно когда ее собственный муж был таким угрюмым.

Эмери поспешил довести сведения о деятельности Иоанны до Папы, особо остановившись на щедрых раздачах королевой имущества и доходов своим фаворитам, распутство которых, как не без оснований предупреждал кардинал, грозило истощить королевскую казну. "Ее расточительность угрожает интересам и доходам Церкви в Неаполитанском королевстве", — сообщал Эмери. (В этом не было ни капли лицемерия, поскольку в итоге Иоанна и неаполитанское духовенство были вынуждены выплатить легату 19.000 золотых флоринов за услуги, оказанные во время его краткого пребывания в должности управляющего). Кроме того, как отметил Эмери, придворные, окружавшие королеву, были открыто враждебны Андрею и поощряли разлад между мужем и женой.

Климент мог колебаться при осуществлении своей власти, но когда дело доходило до защиты церковных доходов, он действовал быстро и решительно. 30 января 1345 года он издал буллу, отменяющую все денежные и имущественные пожалования, сделанные Иоанной или Санцией после смерти Роберта Мудрого, на том основании, что они представляют собой отчуждение королевского имущества. "Поскольку вся власть над этим государством принадлежит Святому престолу, включая блага, права и почести, относящиеся к имуществу, мы приказываем Вам отменить все передачи, дары и отказы от земель, городов, вотчин, привилегий и доходов, пожалованные по какой бы то ни было причине со времени смерти покойного короля, — писал Климент Эмери, — получатели этих даров должны будут вернуть их без промедления или подвергнуться отлучению"[118]. За этой буллой, 5 февраля последовал еще один указ, в котором Папа опубликовал список из двенадцати человек, обвиненных в провоцировании раздоров между Иоанной и ее господином и повелителем и, соответственно, лишенных права общаться с королевой. Главными в этой группе были Филиппа ди Катанья и ее семья, включая двух ее сыновей, и ее внучку Санцию ди Кампанья, а также "некоторые других, которых мы сейчас не называем"[119], под которыми Папа почти наверняка подразумевал Карла д'Артуа, Екатерину Валуа и ее сыновей.

Смелость действий Климента (в конце концов, он оспаривал земельные и титульные пожалования, сделанные лицам очень высокого положения, в том числе членам семьи императрицы Константинополя, которые, вероятно, крайне негативно отреагировали бы на их признание недействительными) была несколько скомпрометирована тайной запиской к Эмери, которая сопровождала эти документы. "Если вы сочтете несвоевременным или неразумным опубликовать эти решения, находясь еще в пределах королевства, — доверительно писал Папа своему легату, — сделайте это после вашего отъезда, в достаточно большом населенном пункте, расположенном недалеко от границы". Таким образом, хотя папская булла, отменяющая все пожалования королевы, была издана в январе, королева и ее двор оставались в неведении об этом вплоть до отъезда Эмери в мае. Должно быть, для легата было большим облегчением не нести ответственность за обнародование этой неприятной новости до прибытия его сменщика, нунция, и легат мог выполнить указания Папы, находясь на пути за пределы королевства.

Однако выговор, запрещающий Иоанне находиться в обществе семьи Филиппы и других приближенных королевы, был обнародован в феврале, и придворные сочли необходимым выказать послушание Папе. Сама Иоанна после этих предписаний чувствовала, что будет лучше примириться с мужем и его партией, хотя бы номинально, во избежании новых репрессий. Эмери все еще находился в Неаполе, и королева знала, что кардинал шпионит за ней и не желая давать Папе повод продлить пребывание легата, вернулась к нормальной супружеской жизни с Андреем. Эта перемирие между мужем и женой, в свою очередь, послужило поводом для события, которое в очередной раз нарушило хрупкое равновесие сил при дворе. В апреле стало известно, что королева Неаполя беременна.

Ожидание наследника трона неожиданно внесло новый, дестабилизирующий элемент в политический статус-кво. Его непосредственным следствием стали перестановки в иерархии приближенных к власти людей. Несмотря на слухи о неверности королевы, похоже, никто не сомневался, что ребенок принадлежит Андрею, и поэтому главным бенефициаром изменения политической ситуации стал будущий отец. Теперь Андрей был не просто господином мужем Иоанны, он был наследником трона и нес ответственность за благополучие и воспитание младенца. В одночасье стало гораздо сложнее отказывать ему в коронации, ранее обещанной Папой. В этих изменившихся обстоятельствах в проигрыше оказались также Карл Дураццо и его мать Агнесса Перигорская. Существование еще нерожденного ребенка Иоанны практически уничтожило все надежды герцога Дураццо когда-нибудь править Неаполем по праву своей жены, поскольку Мария могла наследовать трон только в том случае, если Иоанна умрет бездетной. И даже если этот ребенок умрет, то Иоанна была молода и могла нарожать еще детей. Хотя Иоанна продолжала сотрудничать с членами семьи Дураццо из-за их связей с кардиналом Талейраном, она, так и не простила ни Карлу, ни Агнессе постыдного соблазнения своей сестры и исключила их из своего ближайшего окружения.