Мальчиков перевезли в Куирану, одинокую крепость на холме в Арагоне. (Старший сын Карла, Карл Мартел, наследник Неаполитанского трона, и другой сын, Филипп, впоследствии принц Тарентский, были избавлены от этого испытания). За детьми день и ночь следила вооруженная охрана. Расходы на питание и одежду мальчиков легли на плечи Карла, который часто забывал присылать им деньги на содержание. Смотритель замка, в котором они были заключены, холодный, бесчувственный человек, выполнял свои обязанности без всякого сострадания к узникам. "Он, кажется, пытался запугать детей, говоря им, что если король Арагона прикажет сбросить их со стен Куирана, то он с готовностью выполнит приказ — мрачная шутка, которая кажется совершенно излишней жестокостью"[18]. В течение семи лет, братья оставались в этом месте и в этих условиях вызывавших "слезы и ужас у Роберта и Раймунда Беренгера, особенно у первого, который из трех мальчиков, похоже, наиболее остро ощущал тяготы свое нахождения в Арагоне"[19].

В поисках утешения Роберт обратился к своему старшему брату Людовику и единственному взрослому, проявившему к нему доброту, — францисканскому монаху по имени Франциск ле Брюн, который был воспитателем детей с раннего детства и из сострадания сопровождал в Арагон, чтобы взять на себя заботу об их обучении. Франциск принадлежал к течению в францисканском братстве под названием спиритуалы — мистикам, которые относились к обету бедности гораздо серьезнее, чем остальные члены их ордена. После семи лет обучения у Франциска старший брат Роберта, Людовик, приобрел склонность к ночному возлежанию на холодном полу в пароксизме экстатической молитвы, был тайно пострижен в монахи и рукоположен в священники. Не будучи готовым зайти так далеко, Роберт сохранил привязанность к спиритуалам, которая пережила его арагонское заточение. Несомненно, что в тюрьме он выучил и латынь на которой так блестяще писал свои проповеди.

В 1295 году, с помощью папства, между Неаполем и Арагоном было достигнуто соглашение. Папа признал и короновал Карла Хромого королем Сицилии, и остров был официально возвращен под власть Анжуйской династии. Арагонскому королю Хайме II, потерю острова, компенсировали передачей двух других — Сардинии и Корсики. Чтобы закрепить сделку и предотвратить конфликты в будущем, была достигнута договоренность о двойном перекрестном браке: Хайме II должен был жениться на сестре Роберта Бланке, а старший брат Роберта Людовик — на сестре Хайме II Иоланде. После заключения этих двух браков заложники должны были быть освобождены.

Карл Хромой сам отправился сопровождать свою дочь Бланку в Испанию, где обнаружил, что, находясь в плену, Людовик дал обет безбрачия и развил в себе такое отвращение к женщинам, что не мог есть в их присутствии и даже не поцеловал свою мать после семилетней разлуки. Карл был вынужден в последнюю минуту внести изменения в брачные планы и с неохотой отправил Роберта к алтарю вместо старшего брата. Ничего не поделаешь, кто-то должен был жениться на Иоланде.

Роберт вернулся в Неаполь в компании отца, братьев и Иоланды. Их приезд был очень радостным, но за время отсутствия Роберта многое изменилось. Его младший брат Филипп, самый близкий к нему по возрасту, стал уже взрослым, и братьям пришлось заново знакомиться. Избежавший плена, Филипп успел произвести на отца впечатление как способный военачальник и государственный деятель, и в награду Карл одарил его титулом принца Тарентского и должностью генерального викария Сицилии. Филипп не был единственным братом, с которыми Роберту пришлось встретиться. За время его плена родители значительно расширили семью и теперь у Роберта было еще три новых брата и три новые сестры.

Не обошли семью стороной и трагедии. За полгода до возвращения Роберта от болезни умерли его старший брат Карл Мартел, наследник трона, и его жена Клеменция. По праву первородства, согласно которому наследство передавалось через первенца, старший сын Карла Мартела, Шаробер (Карл Роберт),  после смерти своего отца, должен был быть признан новым кронпринцем Неаполя. Но осиротевшему Шароберу было всего семь лет, когда умер его отец, и Карл Хромой посчитал, что Неаполю нужен сильный взрослый человек для наследования трона. Сицилийцы же, с которыми не посоветовались во время переговоров между Неаполем и Арагоном, восстали против навязанных им условий и избрали своим королем младшего брата Хайме II, Федериго III. Федериго, уязвленный таким ударом по престижу старшего брата, принял эту честь, собрал армию и занялся укреплением своего положения на острове. Карл Хромой не для того вел два десятилетия кропотливых переговоров, чтобы отдать Сицилию новому претенденту из Арагонского дома. Вызов, брошенный Федериго III неаполитанской власти, должен был быть принят, и конечно же не семилетним ребенком.

Как второй сын, Людовик был естественным кандидатом на роль наследника своего отца, но тот будучи глубоко религиозным человеком не захотел этого делать. Карл приказал ему облачиться в роскошные одеяния из дорогих тканей, но Людовик предпочел носить простую белую монашескую рясу с капюшоном. Отец настаивал, чтобы он ездил верхом на коне, но францисканцы-спиритуалы должны были ходить пешком и обязательно босиком и Людовик не впадая в крайность выбрал себе в качестве средства передвижения не лошадь, а смирного мула. Когда Людовик категорически отказался есть с серебряных тарелок, которые использовались во время пиров, король Карл наконец сдался. На церемонии в Кастель-Нуово, в 1296 году, Людовик публично отказался от своих прав трон в пользу Роберта и вскоре после этого был принят в лоно Церкви. Чтобы убрать с дороги ставшего ненужным Шаробера, Карл передал ему права на королевство Венгрия, которые было частью приданого жены Карла, Марии, и отправил его подрастать и управлять своим новым королевством, выделив ему небольшую армию. Одобрение Папы узаконило то, что в противном случае могло быть расценено как беспринципная узурпация прав Шаробера, и таким образом Роберт, маленький метатель камней, стал наследником Неаполитанского трона.

Разумеется, такое нарушение правил первородства не осталось незамеченным братьями Роберта, а затем и их женами. Ведь если третий сын смог стать королем, то почему бы четвертому или пятому, а то и шестому тоже не претендовать на корону?

Другой влиятельной личностью при неаполитанском дворе в годы становления Иоанны была ее неродная бабушка, вторая жена Роберта, Санция Майоркская. Иоланда умерла в 1302 году после всего пяти лет замужества (брак был заключен в 1295 году, но церемония состоялась только в 1297 году). Но Иоланда все же успела выполнить свой супружеский долг, родив мужу двух сыновей в качестве потенциальных наследников: Людовика, который умер в 1310 году, и Карла, будущего отца Иоанны. Сразу после смерти Иоланды Карл Хромой стал искать новую жену для Роберта и остановил выбор на Санции. На его решение (как, впрочем, и на большинство его решений) сильно повлияло его навязчивое стремление отвоевать Сицилию у Федериго III. Санция была старшей дочерью короля Майорки, дяди короля Арагона. Женив Роберта с Санции, Карл Хромой получил нового союзника в борьбе за Сицилию. В идеале он рассчитывал, что в будущем Роберт и его новый тесть начнут наступление на Федериго с двух сторон: из Неаполя с востока и с Майорки с запада. Роберт должным образом женился на Санции в 1304 году, а когда, в 1309 году, Карл Хромой умер, эта пара была коронована как король и королева Неаполя, Иерусалима и Сицилии при полной поддержке Папы из Авиньона.

Довольно быстро после своего второго брака Роберт, понял, что, хотя Анжуйская династия, в лице его тестя, несомненно, получила военного союзника, а Неаполь — королеву, сам он настоящей женой не обзавелся. Самой очевидной и непреодолимой чертой характера Санции была ее крайняя набожность. Новая королева Неаполя происходила из семьи, которая была заражена той же привязанностью к францисканцам-спиритуалам, что и старший брат Роберта Людовик. К большому огорчению короля Майорки, трое из четырех его сыновей и братьев Санции в конце концов отказались от своих прав на его корону, чтобы присоединиться к монахам-подвижникам.