Это второе отлучение не произвело того впечатления, какое имело первое. Генрих узнал о папском проклятии в Бамберге, где он праздновал Пасху. Князья, съехавшиеся к нему на праздник, тотчас единогласно объявили, что перестают признавать Григория папой.
В конце мая Генрих собрал в Май-нце собор немецких епископов, объявивший папу низложенным. К ним присоединился Бриксенский собор итальянских прелатов. В июне был избран папою архиепископ Равеннский Виберт, принявший имя Климента III. Рудольф в свою очередь был отлучен от церкви и предан проклятию– В октябре того же года Генрих вторгся в Тюрингию, разграбил и сжег Эрфурт, дошел до Эльстера, но здесь его настиг Рудольф и принудил к битве на неудобной заболоченной местности. Королевская конница была утомлена трудным движением по вязкой почве, но все-таки Генрих разбил ту часть неприятельского войска, которая находилась против него. Епископы, сопровождавшие короля, уже начали служить благодарственный молебен, но тут саксонская пехота неожиданно напала на всадников, расстроивших свои ряды в погоне за побежденными. Все войско Генриха было охвачено паническим страхом; конница поскакала к реке, много воинов утонуло в Эльстере, другие были перебиты саксонцами во время бегства. Королевский стан был взят, и победителям досталась богатая добыча. Однако к великому несчастью победителей их король Рудольф получил в этой битве смертельные раны и вскоре умер. Воодушевленный этим Генрих в марте 1081 г. оставил вместо себя в Германии Фридриха Гогенштауфе-на, а сам выступил походом в Италию. Вся Ломбардия, давно уже враждовавшая с Григорием, приняла его сторону. В Тоскане у него также нашлось много сторонников, недовольных властным правлением Матильды. Лукка, Пиза и Сиена открыли перед Генрихом ворота. Около Троицы немецкое войско подошло к Риму и 21 мая раскинуло свой стан на Нероновом поле близ Ватикана. Римляне остались верны папе. На помощь Григорию подошли войска из Тосканы и норманны из Южной Италии. Натолкнувшись на упорное сопротивление, Генрих отправился опустошать владения Матильды. Зиму он провел в Равенне, а весной 1082 г. во второй раз подошел к Риму. Он несколько раз приступал к стенам Леонова города, но все приступы были отбиты. Началась долгая осада. Только 2 июня 1083 г. немцам удалось взойти на стену Леонова города, перебив всех ее защитников. На улицах города Генрих тоже встретил отчаянное сопротивление, однако соотношение сил было не в пользу осажденных. Григорий укрылся в замке святого Ангела. Генрих понимал, что ему выгоднее помириться с папой, чем злоупотреблять своим успехом. Он просил только, чтобы Григорий снял с него отлучение и короновал императорской короной, а решение всех спорных вопросов согласен был передать церковному собору. Многим сторонникам папы казалось, что такой исход борьбы не уронит папского величия; говорят, что они на коленях умоляли его примириться с королем. Но Григорий непреклонно требовал, чтобы Генрих, согласно церковному постановлению, сложил с себя королевский сан. Истощив все средства убеждения, Генрих созвал 21 марта 1084 г. духовных и светских сановников своего войска в собор святого Петра. Собрание объявило Григория низложенным и признало папой Климента III. Через десять дней новый папа торжественно короновал Генриха императорской короной. Затем Генрих начал осаду замка святого Ангела, но, узнав, что норманнский герцог Роберт Гискар спешит с большим войском на помощь папе, в мае ушел из Рима. Вскоре после его отступления норманны взяли Рим и подвергли его такому жестокому разгрому, какого этот город не испытывал со времен готов. Григорий после этого не могоставаться в Риме, где все проклинали его имя. Вместе с Робертом Гискаром он поехал в Южную Италию и умер в мае 1085 г. в Салерно.
Тем временем Генрих вернулся в Германию, которую продолжали раздирать междоусобия. В его отсутствие враждебные князья избрали королем графа Люцельбургского Германа. С приездом императора война возобновилась с новой силой. Всякий порядок нарушился; повсюду владычествовало беззаконие; буйные войска грабили, опустошали, резали, и никто не смел требовать от них дисциплины или уважения к закону. В августе 1086 г. Генрих сразился с мятежниками у Плейхфельда, неподалеку от Вюр-цбурга. Сам император бился очень храбро, но кельнцы и утрехтцы отступили в самом начале битвы. Вслед за ними обратились в бегство рыцари и пехота, так что Генрих в очередной раз потерпел полное поражение. В том же году Герман, рассорившись со своими союзниками и утомившись войной, сложил с себя королевский сан. После этого самым грозным противником императора сделался молодой маркграф Мейсенский Экберт. В декабре 1088 г. он нанес Генриху тяжелое поражение близ замка Глейхен в Тюрингии. Император бежал и едва успел укрыться в Регенсбурге. Однако спустя несколько месяцев Экберт сам погиб в бою. Столь же ожесточенная война шла в Италии, где приверженцы Григория избрали в папы аббата Мон-те-Кассинского Дезидерия, принявшего имя Виктора III. Ему оказывала поддержку маркграфиня Матильда. Сторонники Генриха выступали вместе с Климентом. Оба папы предали другдруга взаимному отлучению, так что весь западный христианский мир оказался расколотым на два лагеря. После смерти Виктора в 1088 г. его сторонники избрали папой Отгона, епископа Остийского, принявшего имя Урбана II. Это был достойный приемник Григория, полностью разделявший его идеи. Он немедленно предал проклятию и отлучению Генриха и Климента III, в то время владевшего Римом. Ему удалось устроить в 1089 г. брак между двумя заклятыми врагами Генриха – маркграфиней Матильдой и графом Вельфом, сыном герцога Баварского. Известие об этом сильно встревожило Генриха и заставило его совершить второй поход в Италию.
В марте 1090 г. император перешел через Альпы и начал войну против Матильды. Одиннадцать месяцев немцы осаждали Мантую, в которой заперся граф Вельф. На Пасху 1091 г. изнуренные голодом горожане открыли перед императором ворота. Вельф едва успел Уйти. Генрих внезапно напал на его брата Гуго, охранявшего низовье По, и нанес ему тяжелый урон в сражении у Триконтои. Узнав об этом, Урбан бежал на юг страны под защиту норманнов. Генрих вошел в среднюю Италию и осадил Монтевио. Осажденные искусно оборонялись, сделали вылазку и сожгли у императора все осадные машины. Тогда он пошел на Канос-су и в октябре 1092 г. потерпел под стенами этого замка новое поражение. Матильда и ее вассалы приободрились. К довершению несчастья, раздор возник в собственной семье императора. Женившись через два года после смерти первой жены на русской княжне Евпрак-сии, Генрих стал вскоре подозревать ее в супружеской неверности и даже в связи со своим старшим сыном Конрадом. Император начал обращаться с женой очень дурно, отнял у нее подобающие почести и держал ее в такой строгости, что это походило на тюремное заключение. Когда же Конрад вступился за мачеху, отец вспылил и обвинил его в том, что он не его сын, а сын одного вельможи, на которого юноша действительно был очень похож. Враги немедленно воспользовались размолвкой между отцом и сыном. Матильда овладела доверием Конрада и склонила его на свою сторону. Празднуя в Павии Пасху 1093 г., Генрих узнал, что сын восстал против него и соединился с его противниками. Ломбардские города Милан, Кремона, Лоди и Пьяченца отложились от Генриха и приняли сторону его сына. Архиепископ Миланский Ан-сельм короновал Конрада королем итальянским. Генрих упал духом, заперся в замке близ Вероны и в порыве отчаяния хотел заколоться; друзья едва удержали его от самоубийства. Вскоре из-под стражи к Матильде бежала и жена Генриха Евпраксия. На Констанском соборе она объявила, что муж принуждал ее к прелюбодеянию, чтобы тем легче было потом с ней развестись. Священники приняли сторону императрицы, объявили ее брак расторгнутым и позволили ей вернуться на родину в Киев. С помощью норманнов и Матильды Урбан вернулся в Рим, а Климент бежал из него. Благодаря подготовке к Первому крестовому походу, авторитет Урбана поднялся очень высоко. Климент потерял всякое значение и должен был удалиться в Равенну.