Судьба наиболее жестоко уязвила Вильгельма через его детей. Его дочери ускользали от него одна за другой. Агата, несостоявшаяся невеста Эдвина, в свою очередь постриглась в монахини. Второй сын, Ричард, безвременно ушел из жизни спустя несколько лет после завоевания Англии в результате несчастного случая на охоте в окрестностях Винчестера. Четвертый сын был еще ребенком. На старшего сына, Роберта, и третьего, Вильгельма, уже взрослых людей, качества, обеспечившие их царственному отцу общественный авторитет и признание, похоже, не производили должного впечатления. За младшим Вильгельмом закрепилось латинское прозвище Rufus(Красный), намекавшее то ли на ярко-рыжий цвет его волос, то ли на красный цвет лица. Он был скорее жесток, нежели храбр, мешал с отвагой коварство, был расточителен и предельно приземлен в своих интересах, время от времени разражался внезапными приступами веселья, был горделив и некультурен, являлся врагом духовенства и к тому же гомосексуалистом. Один только Ланфранк оказывал на него какое-то влияние, обуздывая худшие проявления его натуры.

Роберт походил характером на Вильгельма Рыжего, хотя и отличался большим чистосердечием. То привлекательный, то вызывавший презрение, он, в сущности, был противоположностью своего отца, хотя и не уступал ему в храбрости. Коренастый и приземистый, получивший за это прозвище Коротконогий, взбалмошный и легкомысленный до наивности, ленивый, склонный к разгульному образу жизни, он ближе других был со своим дядей, Одо из Байё, но не обладал его энергией. Своей непоседливостью и ребяческой наивностью он легко завоевывал симпатии окружающих. Тяга к наслаждениям побуждала его вести «современный» образ жизни, предаваясь роскоши и галантному времяпрепровождению. Его отец, не имевший ни способности, ни желания понимать все тонкости этой непостоянной натуры, не скрывал своего недовольства им. В 1073 году он пожаловал Роберту титул графа Мэна, однако рассматривал его как своего рода подставное лицо, продолжая именовать себя в официальных документах «государем обитателей Мэна», что могло быть истолковано как откровенное пренебрежение новоявленным «графом». Еще в 1066 году Роберт был объявлен наследником герцогства Нормандского, поэтому, возмужав, он заявлял о своем намерении реально управлять им в период отсутствия там своего отца, но тот совершенно не принимал в расчет подобного рода притязания. Между ними назревал конфликт. Поднимая мятеж, Роже де Бретей и Рауль де Вадер, похоже, считали неминуемым разрыв между отцом и сыном, намереваясь извлечь из этого собственную выгоду.

Этот разрыв и в самом деле произошел, но позднее, в конце 1076-го или в начале 1077 года. Королевская семья, рассказывает Ордерик Виталий, тогда находилась в имении одного из своих вассалов. Однажды, когда Роберт развлекался во дворе со своими приятелями, его младшие братья, высунувшись из окна, в шутку окатили его водой из ведра. Вне себя от ярости Роберт бросился в дом. Отец остановил его и стал читать ему наставление, однако Роберт оборвал его на полуслове: «Я не для того здесь, чтобы выслушивать нравоучения, господин король! Назначенные тобою наставники до тошноты напичкали меня ими!» Слово за слово, и между ними разгорелась шумная ссора. Роберт настаивал, чтобы отец в конце-то концов отдал ему обещанную Нормандию. Ответ Вильгельма был по-королевски лаконичен: «Я раздеваюсь, только когда отправляюсь спать!»

Окружавшие Роберта товарищи подталкивали его к восстановлению справедливости. Ночью эта компания молодых людей покинула гостеприимный дом и направилась в Руан, цитадель которого Роберт попытался захватить внезапным налетом, однако получил от гарнизона достойный отпор. Тогда он бежал в Перш, где нашел прибежище у Гуго де Шатонёфа, сочувствовавшего пресловутой Мабиль де Беллем. Феодальные интриги вновь сотрясали этот приграничный регион, в котором многие сеньоры являлись вассалами короля, поскольку часть своих доменов они держали как королевские пожалования. Гуго предоставил свои замки Сорель и Ремалар в распоряжение Роберта и его товарищей, молодых рыцарей, принадлежавших к самым древним нормандским родам. Горячие, отважные, с нетерпением искавшие случая показать свою силу и расточавшие ее в не суливших ничего хорошего авантюрах, они, едва выйдя из детского возраста, стряхнули с себя все ограничения, налагаемые дисциплиной. Отсюда проистекали их дружба, взаимное доверие и одинаково разгульная жизнь. Отныне они на долгие годы будут неразлучны.

Король конфисковал земли мятежников и направил на усмирение своего сына графа Ротру, сюзерена Гуго де Шатонёфа. Роберт, не выдержав натиска, бежал во Фландрию, однако граф Фландрский Роберт отказался прийти к нему на помощь. Отряду золотой молодежи пришлось удалиться, но вместо того, чтобы загладить свою вину, они продолжили развеселую жизнь, на протяжении почти двух лет переезжая в компании трубадуров, музыкантов и девиц легкого поведения от одного двора к другому, где их хорошо принимали, но старались поскорее спровадить с глаз долой. Однако чтобы вести такой образ жизни, нужны были деньги, а где их взять? Королева Матильда, разрывавшаяся между супругом и сыном, старалась не замечать вины последнего и тайком снабжала его деньгами, которые извлекала из королевской казны, хранившейся в замках Кана и Фалеза, поскольку, будучи регентшей герцогства, имела доступ к ней. Вильгельму вскоре открылась эта растрата государственных средств, явившаяся страшным ударом как по доверию, которое он всегда питал в отношении своей жены, так и по его самолюбию. Душевные муки породили в нем ярость. Между супругами разыгрался страшный скандал. Вильгельм велел доставить к себе связного Матильды с Робертом, бретонца по имени Самсон, и приказал выколоть ему глаза. Однако добрые люди помогли несчастному скрыться, и он, охваченный страхом, бежал в монастырь Сент-Эвруль, где и принял монашеский постриг. Пребывавшая в полном отчаянии Матильда обратилась, как рассказывает Ордерик Виталий, к некоему популярному тогда германскому прорицателю, ответ которого, как всегда достаточно туманный, казалось, предвещал катастрофу...

Тем временем король Филипп I, узнав об этой драме, вознамерился воспользоваться ею. После неудачной попытки Вильгельма захватить Доль он находился, по крайне мере временно, в выигрышном положении. В 1077 году он созвал в Орлеане генеральную ассамблею своих крупных вассалов, присутствуя на которой, Вильгельм был вынужден заключить мир с королем Франции, в ознаменование которого он уступил в королевский домен восточную часть графства Вексен; весьма кстати незадолго перед этим тамошний граф ушел в монастырь, принудив последовать его примеру и свою молодую супругу вечером того же дня, когда был заключен их брак... Не утруждая себя поиском оригинальных решений, Филипп повторил с Робертом Коротконогим такой же маневр, какой в свое время предпринял с Эдгаром: он пожаловал ему в 1078 году замок Жерберуа в Бовэзи. Роберт со своими друзьями устроился там, принимая к себе всех искателей приключений, как из Иль-де-Франса, так и из Нормандии.

Вильгельм без спешки готовил свои ответные меры. Ему удалось без особого труда уговорить короля бросить Роберта на произвол судьбы. Затем он, разместив своих людей в замках поблизости от Жерберуа, под Рождество лично приступил во главе англо-нормандского войска к осаде этого вражеского оплота. В конце третьей недели осажденные предприняли вылазку. Завязалось ожесточенное сражение. Неожиданно, в самый разгар схватки, отец и сын встретились лицом к лицу, тут же бросившись друг на друга. Под Вильгельмом рухнула лошадь, и Роберт прицельным ударом копья ранил его в руку. Наверное, он собирался убить его, но промахнулся. Вмешательство нормандских рыцарей прекратило поединок отца и сына. Весть об этом скандальном происшествии разнеслась по королевству. Король Филипп I лично прибыл в лагерь нормандцев. Советники Вильгельма и все духовенство Нормандии требовали примирения. Тогда Вильгельм снял осаду и возвратился в Руан, а Роберт на какое-то время отправился во Фландрию. За этим последовал мир, хотя и хрупкий. Роберт вернулся ко двору своего отца, возвратившего ему конфискованные имения и права на герцогство Нормандское.