В 1053 г. Вильгельм осадил Арк, и несмотря на то что в октябре Генриху удалось прорвать окружение, пополнив гарнизон солдатами и подвезя припасы, крепость в конце концов была взята, когда люди стали умирать от голода. Во время боя был убит один из влиятельных противников герцога — граф Понтье. После падения Арка Вильгельм предложил дяде свои условия, которые тот, по всей видимости, не принял, предпочтя удалиться в изгнание в Булонское графство. В 1054 г. (или, возможно, в 1055 г.) герцог добился низложения другого своего дяди, архиепископа Можера, после чего сослал его на остров Гернси.
Внезапное нападение Генриха в 1053 г. преследовало лишь разведывательные цели. А уже в следующем году король начал крупномасштабное вторжение во главе феодальной армии, в которую входили отряды из герцогства Аквитанского и графства Бургундского, а также, возможно, анжуйцы под командованием Жоффруа Мартелла. Генрих разделил свои войска на две части. Сам он через графство Эвре отправился в поход на Руан. Вильгельм решил принять вызов. Вторая армия, под началом Эда, младшего брата короля, вместе с Ги, графом Понтье, ставшим преемником своего брата после его гибели под Арком, продвигалась на север от Сены, но у Мортемера была разбита армией Роберта, графа д'Э, и других северных баронов. Среди знатных пленников оказался Ги, граф Понтье. Когда Вильгельм уведомил Генриха об этой победе, король отступил. Благодаря захвату пленников Вильгельм извлек из этой кампании двойную выгоду: во-первых, граф Понтье стал его вассалом, и, таким образом, герцог снова распространил свое влияние на области, граничащие с Фландрией, а во-вторых, король, видимо, пообещал ему сохранять нейтралитет в случае нападения Вильгельма на Анжу.
В период между 1054 и 1060 гг. Вильгельм вел военные действия против Анжу с переменным успехом. В ответ на его вторжение в Мэн, которое он провел в 1054 г., король Генрих и Жоффруа Анжуйский в 1057 г. напали на Нормандию, причем это нападение носило гораздо более опасный характер, так как их войска продвинулись далеко в глубь нормандских владений. Они вторглись с юга в область Иемуа, прошли через все герцогство и разорили прибрежную область к западу от реки Орн. По-видимому, Вильгельму пришлось остаться безучастным наблюдателем вражеских бесчинств. Однако когда армию захватчиков, переправлявшуюся через реку Див у Варавиля, застиг врасплох прилив, Вильгельм атаковал ее отрезанный от основных сил арьергард и полностью его разгромил. Последовавшая за этим война то затихала, то разгоралась, не принося решающего успеха ни одной из сторон. Очевидно, что до 1060 г., когда умерли и граф Анжуйский, и король Франции, Вильгельм оборонял свои владения, и поэтому они пострадали больше, чем земли его противников. Однако, по всей видимости, это не мешало ему систематически расправляться со своими внутренними врагами — членами собственной семьи. Примерно в 1056 г. он устранил своего родственника — Гильома Герлана, графа Мортенского, — обвинив его в подготовке мятежа и вынудив бежать в Апулию, а на его место назначил своего сводного брата Роберта. Другого родственника — Вильгельма Бюсака, второго сына графа Э, — он изгнал, заставив его искать убежища во Франции. Герцог не устраивал кровавых расправ, однако ему удалось избавиться от немалого количества своих старших родственников.
Смерть в 1060 г. двух наиболее могущественных внешних противников стала поворотной точкой в судьбе герцога Вильгельма. Наследник Генриха I, Филипп I, был еще ребенком, и ему назначили опекуна — тестя Вильгельма, Балдуина Фландрского. В 1060 г. Вильгельм принес оммаж своему новому сюзерену в городе Дре, расположенном недалеко от границы между Нормандией и Францией, и до совершеннолетия Филиппа между ними сохранялся мир. Анжуйское графство перешло к племяннику Жоффруа Мартелла — Жоффруа Бородатому, слабому правителю, с которым вскоре вступил в борьбу за власть стал соперничать его брат Фульк Глотка ( Rechinus). Вильгельму представилась благоприятная возможность осуществить свои давно вынашиваемые планы относительно Мэна, на который Вильгельм, по словам Гильома де Пуатье, обладал столь же законными правами, как и на Англию. Таким образом, дипломатическая сторона присоединения Мэна напоминает покорение Англии: в обоих случаях герцог терпеливо дожидался удобного случая для военного вторжения, исподволь стремясь придать как можно больше веса и легитимности своим притязаниям.
Чтобы подготовить для этого почву, Вильгельм и его советники создали легенду, будто в незапамятные времена король Франции даровал графам Нормандии сюзеренитет над Мэном и они якобы действительно им когда-то владели. На самом же деле — по крайней мере, с 1025 г. — анжуйцы установили над графством строгий и эффективный контроль. Как нам уже известно, в 1051 г. Вильгельм радушно принял у себя изгнанников — графиню Мэнскую и ее детей Герберта II и Маргариту. Он принял от Герберта оммаж и, как только у него самого появились дети, обручил с Гербертом одну из своих дочерей, а с Маргаритой — своего сына и наследника Роберта, по прозвищу Коротконогий. Как сообщается, Герберт признал Вильгельма своим наследником, если он умрет, не оставив потомства. Утверждают, что Герберт подтвердил это свое решение на смертном одре. Таким образом, до смерти Герберта в 1062 г. Вильгельм мог вмешиваться в дела Мэна от имени своего вассала. После этого Вильгельм оказался в двойственной роли наследника Герберта и опекуна Маргариты. Это привело к неизбежным осложнениям. После смерти Герберта появился еще один претендент — Готье III, граф Вексенский, племянник Эдуарда Исповедника и муж Биоты Мэнской, тети покойного графа. Заметим, что Готье был возможным претендентом и на английский трон. Вильгельму пришлось также столкнуться с враждебностью, правда пассивной, со стороны графа Анжуйского и с недовольством Жоффруа, графа Майеннского, который предпочел бы сохранять статус-кво и не был в восторге от усиления соседа. В 1063 г. Вильгельм, опустошив Мэн, добился капитуляции Ле-Мана, столицы графства, а затем, спалив город Майенн, захватил Майеннский замок. Готье Вексенский и его жена были взяты в плен и заключены в тюрьму в Фалезе. По словам Ордерика Виталия, Вильгельм впоследствии приказал их отравить, но это утверждение бездоказательно, хотя точно известно, что они умерли в заточении. Кроме того, поскольку Маргарита Мэнская скончалась примерно тогда же, когда герцог вторгся в графство, — причем провести церковную церемонию ее бракосочетания с Робертом Коротконогим так и не успели, — прямая линия графского рода оборвалась, и Вильгельм принял титул графа Мэнского.
Приобретение Мэна и затишье в Анжу позволили Вильгельму обратить свои силы против Бретани. Предпринятый им поход нашел художественное отображение на ковре из Байе, так как эти события имели прямое отношение к истории Гарольда. С другой стороны, эта экспедиция лишь продемонстрировала ограниченность возможностей нормандского герцога. Поводом для похода послужили действия молодого графа Конана II, родственника Вильгельма, который к тому времени достиг совершеннолетия, отказался принести герцогу оммаж и совершал набеги на приграничные нормандские земли. Вильгельм прошел со своей армией по всей Бретани, но, в конце концов, был вынужден отступить — из-за нехватки продовольствия и из-за того, что Конану на помощь пришел Жоффруа Бородатый, граф Анжуйский. Возможно, эта экспедиция и возымела определенный эффект в качестве акта устрашения, и бретонцы, особенно сыновья Эда де Пороэ, внесли значительный вклад в экспедицию Вильгельма 1066 года, но в целом эту кампанию вряд ли можно назвать победоносной. Гарольд, сопровождавший Вильгельма, вполне возможно, имел определенные основания проникнуться к герцогу презрением, тем более что он сам недавно провел в похожих обстоятельствах поход против Уэльса и добился гораздо больших успехов.
К 1064 г., когда Вильгельму исполнилось 37 лет, его репутация воина и правителя была, наверно, столь же высока, как у Жоффруа Анжуйского десятилетием ранее, и, возможно, выше, чем, например, у Тибо III, графа Блуаского, Шартрского и Шампанского. Однако вряд ли его престиж мог сравниться с авторитетом Балдуина Фландрского. Нужно сказать, что самые значительные достижения герцога относились к тому времени, когда некоторые феодалы старшего поколения уже находились в преклонном возрасте или ушли из жизни. Должно быть, в глазах современников Вильгельм достиг вершины своего могущества и едва ли мог достичь большего в мире, полном как опасностей, так и соперников.
