Вильгельм Рыжий спокойно переносил такую опеку, и нельзя не признать, что он по меньшей мере научился как военному делу, так и искусству управления. Что касается Роберта, то к 1077 г. подобное положение вещей совершенно вывело его из терпения. Каким бы ни было отношение к нему Вильгельма, Роберт был самым незавидным наследником — он был всем недоволен, водил дружбу с никчемными людьми, всегда был в долгах и за деньги готов был служить даже врагам отца. Впоследствии его сетования повторяли многие наследники короны: он жаловался, что у него не хватает средств, чтобы вознаградить своих людей. Особенно он нуждался в земельных владениях, так как его приверженцы жаждали именно феодальных поместий. В 1077 г. Роберт покинул Нормандию — возможно, после ссоры с братьями, которую Ордерик Виталий описывает довольно ярко, — и на протяжении четырех или пяти лет скитался повсюду вместе с такими же недовольными, как и он, спутниками. Ордерик утверждает, что сначала он посетил своих фламандских дядей — Роберта Фриза и Удо, архиепископа Тревского, умершего в 1078 г., а затем и других родственников — в Лотарингии, Германии, Аквитании и Гаскони. Полученные от них дары он раздавал своим нахлебникам. Уильям Мальмсберийский добавляет, что Роберт отправился в Италию, где безуспешно попытался просить руки Матильды, дочери и наследницы Бонифация, маркиза Тосканского. Ордерик также заявляет, что королева Матильда посылала своему странствующему сыну деньги — очевидно, через бретонца Самсона, одного из королевских капелланов, которому, по некоторым свидетельствам, в 1082 г. Вильгельм предлагал возглавить Ле-Манскую епархию, — и что, узнав о деяниях своей жены, король был взбешен, а на Самсона рассердился до такой степени, что клирику пришлось спасаться бегством в Сент-Эвру, где он постригся в монахи. Если эти события действительно имели место, то, вероятнее всего, было это в 1082–83 гг. — незадолго до смерти Матильды. Кроме того, Ордерик тоже был монахом в Сент-Эвру и, вероятно, хорошо знал историю Самсона, так что мы имеем все основания полагать, что Роберт на самом деле серьезно возмутил спокойствие в семье.

В 1077 г. у Вильгельма возникли другие проблемы. Когда он был занят подавлением восстания в Мэне, Симон, граф Мантский, удалился в монастырь, в результате чего король Филипп захватил оставшееся без владельца графство. На землях между Парижем и Руаном в Сену с севера впадают три притока: Уаза, Эпта и Анделла. Территория, простирающаяся между Уазой и Анделлой и на юг от Сены, известна как область Вексен. Викинги, прочно осев в этом краю, заняли земли вплоть до Эпты и разделили Вексен на две части. В восточной части, позже получившей название Вексен Французский, образовалось графство Мант. После 1031 г. король Франции Генрих в благодарность за поддержку нормандцев предоставил герцогу Роберту, отцу Вильгельма, право сюзеренитета над Мантом, и граф Дрого Мантский, ставший другом герцога, принес ему оммаж. Дрого и Роберт умерли в 1035 г., совершая паломничество в Иерусалим, а Генрих, воспользовавшись несовершеннолетием Вильгельма, вернул себе сюзеренитет над Мантом. Когда этой областью в долине Сены управлял граф Мантский, она оставалась «буферной» территорией между королевским доменом и Нормандией, поэтому с тех пор, как король забрал Мант в свой домен, стратегическое положение Вильгельма значительно ухудшилось. В 1087 г. Вильгельм предпринял запоздалую попытку вернуть Мант и тогда же заболел смертельным недугом.

В 1077–78 гг. в самой Нормандии, видимо, тоже происходили беспорядки, вызванные действиями Роберта. К концу 1078 г. король Филипп пожаловал Роберту замок Жерберуа в области Бовези, к северу от Вексена, откуда тот, как из опорного пункта, мог совершать набеги на нормандские земли. После Рождества Вильгельм выступил в поход, чтобы изгнать Роберта, а так как армия последнего состояла из солдат удачи, опустошавших окрестности, к Вильгельму даже присоединился Филипп. Однако Роберт отразил нападение союзников и ранил в сражении своего собственного отца, под которым, кроме того, погиб боевой конь. Также был ранен и Вильгельм Рыжий. Среди убитых были англичане, в том числе и Токи, сын Вигода. Предположительно их привели с собой Рожер, эрл Шрусберийский, Гуго де Гранмениль и Роберт де Бомон, которые наряду с отцом Роберта Рожером и его братом Анри были главными соратниками Вильгельма в этой кампании. Потрясенные столь неприятными событиями и чувствуя, что вскоре дело может принять еще более печальный оборот, они попытались примирить отца и сына. В конце концов, Вильгельм уступил и восстановил Роберта в наследственных правах на герцогство. В 1080 г. он взял его с собой в Англию и отправил воевать с шотландцами, а после того как в 1081 г. Вильгельм прошел через Южный Уэльс, отец и сын вернулись в Нормандию, чтобы усмирить графство Мэн.

Хронология войн в Мэне не совсем ясна. Ордерик Виталий утверждает, что нижеследующие события происходили непосредственно после войны 1073 г. вплоть до 1076 г. Вполне возможно, он ошибался, тем более что он связывает с ними смерть епископа Арнольда Ле-Манского, а это произошло в 1081 г. Одним из самых преданных сторонников Вильгельма в Мэне был Жан де Ла-Флеш, владевший замком, расположенным на полпути между Ле-Маном и Анжером, недалеко от границы между графствами. Жан состоял в свойстве с графами Мэнскими, и его крепостью несколько раз пытался овладеть Фульк Анжуйский. По-видимому, в начале 1081 г. при содействии Хоэля Бретонского Фульку все-таки удалось захватить и сжечь Ла-Флеш. Это нападение заставило Вильгельма двинуться в Мэн с англо-нормандской армией, в которую входили Рожер, эрл Шрусберийский, и Гильом, граф д'Эвре. Решающее сражение было предотвращено только благодаря вмешательству церкви, и в результате был заключен Бланшланский мир. Согласно некоторым сведениям, Фульк признал графом Мэнским Роберта Коротконогого и принял от него оммаж как сеньор от вассала. Возможно, Вильгельм также передал Фульку заложников в подтверждение того, что он признает сюзеренитет Анжуйских графов над Мэном. Бароны, воевавшие против Анжу, в том числе и Жан де Ла-Флеш, заключили мир с Фульком, а те, кто противостоял нормандцам, — с Вильгельмом. Мы знаем, что это мирное соглашение между Нормандией и Анжу, ставшее действительно благоразумным компромиссом, имело силу до конца жизни Вильгельма. Однако на этом беспорядки в Мэне не закончились.

По-видимому, в 1082 или 1083 г. против Вильгельма восстал влиятельный барон Губерт — зять графа Ниверского, сеньор замков Бомон-сюр-Сарт и Френе, к северу от Ле-Мана, и Сент-Сюзанна, расположенного на западе. Губерт, которого в высшей степени чтил Ордерик Виталий, участвовал в мятеже 1072 г., и Вильгельм вынудил его сдать замки Френе и Бомон. Позднее он получил прощение и был назначен виконтом. Неизвестно, по какой причине он вновь поднял мятеж, но, оставив два своих замка на севере и перебравшись в Сент-Сюзанн, где было гораздо удобнее получать помощь из Анжу, Губерт стал совершать набеги на Ле-Ман. Вильгельм снова выступил против него и, не сумев взять неприступный Сент-Сюзанн, организовал поблизости поселение, чтобы помешать дальнейшим действиям противника. Губерт держался три года и, очевидно, только выиграл от этой ситуации. Командование своим гарнизоном Вильгельм поручил бретонцу Алану Рыжему, сеньору Ричмонда. Безусловно, в королевской армии были и другие английские бароны, в том числе Гильом де Варрен и Роберт д'Ойли, один из комендантов Вильгельма, владевший обширными поместьями в Оксфордшире и впоследствии щедро вознагражденный за вклад, внесенный им в эту кампанию. Губерт набрал войска из Аквитании, Бургундии и других частей Франции и с помощью Роберта Бургундского, дяди своей жены, не только отразил все атаки, но убил и захватил в плен множество знатных людей из армии противника, а выкуп за них принес ему большую прибыль. Хотя эта война и не была значительным событием, Вильгельм, несомненно, израсходовал на нее немало ресурсов.