22 марта 1504 года Пьер де Понбриан, молодой человек из свиты Луизы Савойской, оказавшийся там по протекции маршала, подошел к королю, когда его несли на носилках через сады Блуа и попытался выдвинуть против Жье обвинение, но Людовик от него отмахнулся[435]. Но два дня спустя этот молодой человек вернулся и преграждал королю путь, пока тот его не выслушал. Людовик велел Понбриану рассказать о своих обвинениях д'Амбуазу. Кардинал быстро понял, как это можно использовать для того, чтобы подорвать власть маршала. Он запротоколировал допрос Понбриана и передал его маршалу. По словам королевского генерального прокурора Пьера Боннина, рьяно ведшего дело маршала, Жье "плакал и рыдал, когда читал показания, говоря, что он пропал, и признал, что всё это правда". Боннин также сделал вывод о его вине из того факта, что он затем уехал от двора "как беглец, не попрощавшись"[436]. Безусловно, покинув двор, разгневанный маршал создал видимость виновности и, что более важно, дал своим врагам возможность нашёптывать на ухо королю. Среди этих врагов особое место занимала королева Анна. Она ненавидела Жье за его роль в разгроме её отца во время Бретонской войны в начале царствования Карла VIII. Протоколы дела ясно показывают, что маршал также недолюбливал королеву и хорошо знал о её отношении к нему.

Обвинительное заключение против Жье состояло из двадцать трёх статей. Почти все они так или иначе были связаны с его должностью опекуна юного Франциска Ангулемского. Когда Людовик стал королем, он передал опеку над своим юным родственником, установленную соглашением 1496 года, Жье. Маршал прекрасно понимал какие возможности открывает перед ним обладание этой должностью. Но Луиза Савойская очень ревностно относилась к своему положению матери наследника престола, своего "Цезаря", как она называла его в своём дневнике, и тяготилась надзором установленным Жье. Несколько инцидентов способствовали вспыхнувшей между ними вражды, так например, когда один из людей маршала, которому было поручено сопроводить принца на мессу, обнаружил запертую дверь в покои Луизы, где спал Франциск, и попросту выломал её[437].

Обвинения против Жье варьировались от незначительных до действительно серьёзных. К числу таких относилось и то, что он сказал Луизе, будто королева Анна её ненавидит. Суть обвинения заключалась в том, что в 1504 году, во время болезни короля, в неизлечимости которой Жье был убежден, он планировал государственный переворот. В обвинении говорилось, что, предвидя смерть короля, он приказал своим людям в Амбуазе, Анже, Лоше и Туре взять под контроль дороги и мосты и никого по ним не пропускать. Его предполагаемыми целями были: во-первых, помешать королеве Анне вернуться в Бретань, как это было после смерти Карла VIII; во-вторых, установить контроль над Франциском Ангулемским, чтобы главенствовать в новом правительстве; и в-третьих, узурпировать должность регента по праву принадлежавшей королеве Анне. Часто повторявшаяся история о том, что люди Жье остановили королеву плывшую в Бретань на своей барже, нагруженной драгоценностями и домашним имуществом, кажется апокрифической. В обвинительном заключении и показаниях свидетелей об этом не упоминается. Несомненно, если бы всё это в действительности произошло, то было бы включено в качестве самого вопиющего примера нарушения Жье своих полномочий. Вероятно, эта история возникла из факта отъезда Анны в Бретань после смерти Карла VIII и заявлений Жье о том, что он повторения подобного не допустит.

После составления обвинений Людовик, под давлением Анны и несмотря на собственное нежелание верить в виновность маршала, согласился передать это дело на рассмотрение Большим Советом. Боннин, как генеральный прокурор на этом процессе, оказался неумолимым обвинителем. В начале июля 1504 года он начал опрашивать свидетелей. Было допрошено большинство капитанов и лейтенантов, служивших под командованием Жье, включая брата Понбриана. Однако Боннин не смог найти ничего, что подтверждало бы обвинение в государственной измене. Во время допроса Понбриан отказался от ряда обвинений, но настаивал на достаточном количестве доводов, чтобы дело могло быть продолжено. Луиза Савойская была допрошена 17 июля в Амбуазе и смогла предоставить мало доказательств в поддержку обвинения. Она сообщила о мнении маршала о том, что королева его очень недолюбливает, что, по её словам, мало его беспокоило, поскольку он рассчитывал занять главенствующее положение при Франциске. Члены Большого Совета устроили в октябре в Орлеане допрос Жье, продлившийся неделю. Маршал отрицал какие-либо противоправные действия и смог дать убедительное объяснение всему, что он сделал или сказал. Затем Совет вызвал большинство ранее давших показания свидетелей, чтобы устроить с Жье очную ставку. Во время этих следственных действий между обвиняемым маршалом и несколькими враждебно настроенными к нему свидетелями, включая Луизу и Понбриана, произошла ожесточённая перепалка.

В начале декабря Боннин выступил перед судьями с пламенной речью, требуя признать маршала виновным в оскорблении величества и приговорить его к смертной казни. Тем не менее, Большой Совет во главе с канцлером Ги де Рошфором обвинительный приговор вынести отказался. Дело было отложено на три месяца, в течение которых Жье получил право находиться на свободе. Не сумев добиться обвинительного приговора, враги Жье были обескуражены, но тут в процесс вмешался гораздо более грозный противник маршала. Королева Анна, о враждебности которой по отношению к себе, по словам свидетелей, говорил Жье, узнала об этом и, как рассказывали, пришла в ярость. Она убедила мужа передать дело в Тулузский парламент, руководствовавшийся в своей деятельности римским правом, гораздо менее благоприятным для подсудимых. Король согласился и формально оправдал этот шаг тем, что Большой Совет был слишком занят другими делами. Анна отправилась в Бретань, чтобы лично руководить поиском свидетелей и документов для использования против Жье, и организовала специальную курьерскую службу в Тулузу. Ревностный Боннин остался прокурором и даже утверждал, что Тулузский парламент не должен назначать Жье адвоката из-за чудовищных преступлений, в которых его обвиняли. Судьи отклонили аргумент Боннина, но огромные трудности, с которыми они столкнулись при поиске адвоката для защиты маршала, едва не привели к тому что предлагал прокурор.

Летом 1505 года Тулузский парламент заслушал множество новых свидетелей. Все они сосредоточились на отношениях между Жье и Луизой, а также на прошлых преступлениях представителей семьи Роан. Жье попросил допросить самого короля, но никаких упоминаний о данных монархом показаниях нет. Людовик был в курсе хода дела, поскольку издал множество патентных писем, разрешающих различные аспекты как обвинения, так и защиты.

9 февраля 1506 года Тулузский парламент вынес свой вердикт: Жье был оправдан по самым серьёзным статьям обвинения, но признан виновным в некоторых злоупотреблениях и проступках, в основном касающихся использования королевских войск в личных целях. Он был отстранен от должности опекуна Франциска Ангулемского и на пять лет от должности маршала. В течении этих пяти лет ему было запрещено появляться при дворе или даже приближаться к нему на расстояние десяти лиг, и он был обязан выплатить в казну 10.800 ливров за злоупотребление королевскими войсками[438]. В связи с судебными издержками по этому делу Тулузский парламент выставил огромный общий счёт, составивший 35.905 ливров. Так например, прокурор Боннин представил счёт на 744 ливров. Поскольку королева выступала в качестве истца, счёт был передан её казначею. Брантом рассказывает, что Анна якобы заявила, что не желает казни Жье, потому что смерть это лекарство от всех бед, а она хочет, чтобы он страдал долгое время[439].