Считается, что подозрения Людовика XI в отношении планов Орлеанского дома стали причиной смерти герцога Карла в 1465 году, через два месяца после рождения его второй дочери Анны[8]. Карл был вызван королём на встречу в Туре с принцами и знатными дворянами королевства, чтобы обсудить мятеж поднятый герцогом Бретонским в конце 1464 года[9]. Карл благосклонно отозвался о мятежном герцоге, и разгневанный Людовик отчитал его перед всем собранием. Униженный и измученный, Карл отправился домой, но добрался только до Амбуаза, где и умер в январе 1465 года в возрасте семидесяти одного года. Его тело для захоронения было доставлено в Блуа, но после того, как сын Карла, Людовик, стал королем, он в 1504 году приказал перевезти останки отца в Париж и перезахоронить их в церкви Целестинцев, которая по значимости как место захоронения представителей королевского рода уступала только базилике Сен-Дени[10].

После смерти герцога Карла двухлетний Людовик оказался под опекой своей матери, Марии Клевской[11]. Среди её предков были графы Голландии и Фландрии а по материнской линии она доводилась внучкой герцогу Бургундскому Иоанну Бесстрашному, когда-то организовавшему убийство отца её мужа. Светловолосая, стройная и общительная, она, как говорили, сохранила свою красоту до глубокой старости. Мария выросла и воспитывалась при бургундском дворе и была полностью проникнута его рыцарственной культурой[12].  Как и её муж, она сочиняла неплохие стихи, любила устраивать танцы и выезжать на охоту, а также обожала собак и лошадей. Она хорошо разбиралась в изысканных манерах той эпохи и имела вкус к изящным искусствам. Но особенно ей нравились богато иллюминированные книги. Мария была традиционно набожной и тщательно соблюдала все благочестивые ритуалы щедро раздавая милостыню в меру своих ограниченных ресурсов.

После смерти мужа Мария, как вдовствующая герцогиня и опекун своих детей, получила контроль над обширными семейными владениями: герцогством Орлеанским, графствами Валуа и Блуа, сеньориями Куси и Шони, а также графством Асти в Северной Италии. Несмотря на большие владения, доход семьи был невелик, и в 1455 году составлял всего 5.637 ливров[13]. Как уже упоминалось, Марии пришлось пожертвовать своим приданным, чтобы выплатить выкуп за Карла и его брата Иоанна, а после смерти мужа заложить большую часть своего имущества, в то время как скупой на траты Людовик XI, своим родственникам помогать не спешил. Пенсии, которые они получали из казны — 12.000 ливров для Марии и 6.000 ливров для Людовика, — были невелики, учитывая их высокое положение и герцогине приходилось прибегать к строгой экономии. Но всё же она понимала необходимость поддерживать видимость благополучия на виду у публики. Например, только на праздник молодому герцогу разрешалось носить алые атласные одежды, указывающие на его статус. Таким образом, Людовик с детства свыкся с бережливостью, в конце-концов ставшей характерной и для его царствования, хотя в молодости он некоторое время пытался вести совсем другой образ жизнь.

Как и большинство знатных женщин своей эпохи, Мария Клевская была воспитана в духе полного подчинения воле авторитетных людей, таких как Людовик XI. Король самовольно принимал решения касающиеся его молодой кузины и именно он настоял на назначении Гийо По, графа де Сен-Поль, губернатором владений Людовика. Гийо По происходил из знатной дворянской семьи, служившей герцогам Бургундским на протяжении нескольких поколений. Его брат Филипп был одним из ближайших доверенных лиц Карла Смелого, которому служил до 1477 года, когда перешёл на службу к французскому королю. Гийо По переехал во Францию гораздо раньше и к 1457 году он стал магистром двора герцога Карла Орлеанского[14]. Хотя он был связан с Орлеанским домом, По, как гибкий политик, завоевал доверие и Людовика XI, оставаясь при этом в хороших отношениях с герцогиней. Он держал короля в курсе событий в герцогской резиденции в  Блуа и в особенности о ходе воспитания юного Людовика.

Первой обязанностью По как губернатора было обучение Людовика навыкам, необходимым для каждого дворянина — военному делу, охоте и спорту. В молодости Людовик считался лучшим наездником и игроком в же-де-пом (jeu de paume) в королевстве, хотя неясно, существовали ли какие-либо организованные соревнования, если таковые вообще были, позволявшие выносить такое суждение. Возможно, это просто отражало обычную практику восхваления принцев и королей как образцовых атлетов. Но это были виды спорта, требующие интенсивных физических упражнений, и только необходимая подготовка к  войне была главным оправданием для того, чтобы позволять молодым дворянам постоянно в них участвовать. Любимым видом спорта Людовика был же-де-пом, впоследствии эволюционировавший в теннис. Мяч, сделанный из кожи и туго набитый овечьей шерстью, отбивали рукой в специальной перчатке. Ракетка же появилась несколько десятилетий спустя. Из кратких описаний игры, относящихся ко времени Людовика, неясно, появились ли к тому времени такие нововведения, как огороженное поле и использование сетки вместо натянутой через него веревки. Основной особенностью игры было то, что два игрока или команды стояли друг напротив друга через сетку или веревку и перебрасывали мяч туда-обратно в пределах обозначенной зоны.

Соревнования часто были ожесточенными, особенно учитывая большие ставки на матчи. Одна игра, состоявшаяся до того, как Людовик стал королем, повлекла серьёзные последствия. Она проходила в Париже, и за её ходом наблюдала старшая дочь Людовика XI, принцесса  Анна. В какой-то момент её попросили разрешить спорный вопрос, и она вынесла решение не в пользу Людовика. Принц очень рассердился и сказал, что она солгала. Теперь уже Анна пришла в ярость и спросила герцога Лотарингского, неужели он позволит её оскорблять. Герцог не долго думая съездил Людовика по уху. Присутствующие разняли драчунов, но с тех пор они стали врагами, а отношения Людовика с Анной никогда небыли тёплыми[15].

Людовик пользовался одинаково высоким авторитетом как наездник и участник рыцарских турниров: "это лучший наездник и воин, которого я когда-либо видел", — говорил Жан де Сен-Желе, доверенное лицо Орлеанского дома[16], хотя, возможно, это было общепринятым мнением в отношении членов королевского рода. Тем не менее, хорошее мастерство верховой езды высоко ценилось в ту эпоху, и любой, кто надеялся заслужить уважение воинского сословия, должен был уметь хорошо ездить на коне. Охота на крупного оленя давала возможность продемонстрировать своё мастерство верховой езды. Став королем, Людовик уже не славился игрой в же-де-пом или участием в рыцарских турнирах, но его постоянно упоминали как охотящегося в горах Дофине. В последние годы жизни короля на охоту вместе с ним ездила его дочь Клод. Охота на оленя имела свой ритуал и процедуру, которые тщательно соблюдались. Когда оленя наконец убивали, его разделывали в строгом порядке, а королю в знак чести отдавали правое копыто. На оленей охотились с собаками, дорогими сердцу каждого дворянина. Эта охота не представляла большой опасности ни для охотника, ни для собак. Гораздо более рискованной была охота на дикого кабана, и охотники не брали на неё своих лучших собак из-за возможности их гибели от клыков зверя. Другой приятным способом развлечься была соколиная охота.

Высшей стадией подготовки к войне для молодого дворянина был рыцарский турнир. Ко времени Людовика массовые сражения с участием десятков соперников в значительной степени уступили место индивидуальным поединкам, хотя в его правление и встречались отдельные примеры первого стиля. Целью поединка было разбить о кирасу противника турнирное копье, которое было легче обычного копья, используемого в бою. Участники поединков носили более тяжелые доспехи, чем в бою, поскольку увёртливости от них не требовалось, а убийство или нанесение увечий противнику не было целью мероприятия, хотя смертельные случаи все же имели место. После 1500 года стандартной формой поединка было движение двух участников навстречу друг другу вдоль, разделявшего их, барьера высотой около ярда; они держали копья в правой руке, целясь в кирасу и щит противника. Существовало множество других видов турнирных боёв, таких как штурмы условных крепостей или сражения между двумя галерами. До того как стать королём, Людовик принимал активное участие в турнирах, но в 1498 году он ушёл в отставку, возможно, потому что посчитал неуместным для короля рисковать жизнью, или просто потому что он был слишком стар для таких забав.