Занятый восстановлением своей власти Генрих IV не имел возможности воздействовать на итальянские дела. Рим, раздираемый догматическими противоречиями, распался на политические группировки клюнийцев и антиклюнийцев. Политическая ловкость Гильдебрандта, умело действовавшего в калейдоскопической смене пап и антипап, привела его к избранию в 1073 г. папой под именем Григория VII, причем с грубыми процессуальными нарушениями Латеранского декрета.

Именно тогда Гильдебрандт в 27 тезисах, известных как «Диктат папы», в концентрированной форме изложил примат власти папства над всей церковью и принцип абсолютной непогрешимости римского понтифика. Ни один собор, ни одно теологическое сочинение не могут быть признаны церковно-каноническими без его санкции, ибо заслугами св. Петра он автоматически получает святость. И, наконец, только папа может распоряжаться императорскими инсигниями, «он может низлагать императоров», а «подданных он может освобождать от присяги негодным владыкам».

В феврале 1075 г. на Римском синоде Гильдебрандт потребовал явиться к папскому престолу пятерым советникам Генриха IV с повинной в грехе симонии. Главным решением синода стал запрет духовенству получать от светских властей любые должности; мирянину за подобный акт запрещался вход в церковь до добровольной отмены его распоряжения. Начался длительный и пагубный для королевской власти спор об инвеституре с радикальными клюнийцами, идеалом которых была вселенская папская теократия. Полнее уничтожение светской инвеституры было, конечно, нереально, поскольку могло повлечь за собой перевод королевских церковных ленов в папские. Необходим был компромисс, но ни король, ни папа на него не пошли.

Генрих продолжил практику светской инвеституры в Германии и Ломбардии. Осенью 1075 г. король, вмешавшись в выборы епископа Милана, назначил там своего ставленника. В письме от 8 декабря 1075 г. Григорий VII в резкой форме потребовал от короля прекратить давление на избрание духовенства под угрозой отлучения от церкви. Называя Генриха rex Teutonicorum, папа недвусмысленно дал понять, что курия не признает его власти над Италией. В январе 1076 г. Генрих собрал синод германских прелатов (26 епископов) в Вормсе, который единогласно отказался повиноваться папе, основывая свое решение на целом ряде нарушений церковных процедур вплоть до незаконности его избрания. Заключительное постановление синода начиналось довольно резко: «Генрих, король Божьей волей, а не захватом, Гильдебрандту, отныне не папе, а лживому монаху»; в таком же тоне и завершалось: «Я, Генрих, король Божьей милостью, совместно со всеми нашими епископами говорю тебе: сойди с престола, сойди!» Каждый участник Вормского синода, кроме того, направлял папе собственное послание с отказом далее признавать Гильдебрандта главой католической церкви. Ломбардский епископат в своей массе примкнул к решению германских прелатов и короля. Особое письмо Генрих адресовал «клиру и народу Рима» с предложением низложить Гильдебрандта, выбрать самим нового папу, которого он утвердит.

В Риме во время чтения королевских грамот посланник Генриха едва не был убит, но Григорий VII этого не допустил. В форме молитвы св. Петру папа произнес: «Генриха-короля, сына Генриха-императора, который восстал в неслыханной гордыне против церкви твоей, лишаю правления над всем королевством Тевтонским и Италией и разрешаю от присяги всех христиан, которой они связаны и свяжут себя... и предаю его анафеме».

В Германии действия папы вначале не произвели особого впечатления на епископат, но вскоре в его среде начался раскол. Ломбардские епископы в Павии произнесли анафему Гильдебрандту; то же самое сделал епископ Вильгельм Утрехтский в присутствии короля, но этот важный акт не удалось провести через германский церковный синод в Вормсе ввиду его малочисленности. Пропапской позиции придерживались магнаты, собравшиеся на съезд в Трибуре в 1076 г., где в отсутствие Генриха стали рассуждать о его низложении, но не смогли выработать сам механизм этого акта из-за противодействия многих епископов. Для разрешения колебаний был назначен еще один рейхстаг в Аугсбурге, на который должен был прибыть в качестве третейского судьи Григорий VII, которому и отводилась роль произнесения рокового для Генриха приговора. Посреднический план предложил аббат Гуго, принимавший некогда участие в ритуале крещения Генриха: к 22 февраля 1077 г., т. е. ровно через год и один день после предания короля анафеме, тот должен либо примириться с папой, либо проститься с короной.

Генрих бросился в Италию, совершив сложный переход через Альпы; Григорий VII направлялся в Аугсбург. В Италии к королю стекались графы, вальзассоры, епископы, настроенные антигригориански по многим причинам, одной из которых являлась поддержка папой патарии — еретического движения низших слоев общества, смыкавшегося с радикальными клюнийцами в осуждении обмирщения церкви. Под Мантуей папа узнал о появлении Генриха в Италии и счел, что с помощью всех его итальянских противников король расправится с ним. Григорий VII бежал в замок Каносса под защиту маркграфини Тосканской Матильды. К Каноссе 25 января 1077 г. прибыл и Генрих. Три дня в рубище кающегося грешника король добивался от папы аудиенции, которая состоялась 28 января. Произошли слезное покаяние и клятвы короля на мощах в том, что он будет покорен римской церкви. Отсюда возникло выражение «идти в Каноссу» — каяться, смиряться, идти на унижение перед противником. Отлучение было снято и это испортило на время отношения Генриха с ломбардцами, которые он, однако, быстро восстановил. В Каноссе проиграл не король, а папа, возвратив Генриху права на престол и сюзеренитет над всеми вассалами.

Но знать Германии, получив известия о возвращении Генриха в качестве законного государя, собралась в марте 1077 г. в Форххайме, объявила о низложении Генриха и избрала новым королем герцога Рудольфа Швабского. В ряде сражений войска Генриха то терпели поражение, то одерживали малоубедительные победы. При этом Григорий VII выжидал, на чью сторону встать. В 1080 г. антикороль Рудольф одержал победу у Наумбурга, однако скончался от ран. Тогда папа вторично повторил процедуру отлучения Генриха, что не возымело никакого действия в Германии и Северной Италии. Наоборот, в том же году на синоде в Бриксене Гильдебрандт был объявлен смещенным и проведено избрание нового папы — Климента III.

Невзирая на продолжающийся мятеж в Саксонии и Тюрингии, в 1081 г. Генрих IV с небольшим войском из швабских министериалов отправился в Италию, где Григорий VII вновь потребовал от короля публичного покаяния в духе Каноссы. В Германии саксонская знать выбрала себе королем графа Германа Люксембургского, который, не будучи в силах подчинить Южную Германию, вернулся в 1083 г. в Саксонию. В этом же году Генрих IV занял Рим; Григорий VII, укрывшись в замке св. Ангела, еще раз отлучил его и папу Климента III. В марте 1084 г. Генрих IV был, наконец, коронован императором. Папа Григорий призвал на помощь норманнов, которые освободили папу и страшно разграбили Рим. Понимая свою долю ответственности, Гильдебрандт убыл из Рима вместе с норманнами и умер в Салерно в 1085 г.

Генрих IV вернулся в 1084 г. в охваченную войной Германию, которую удалось усмирить только к 1090 г. В Италии в отсутствие императора шла борьба разных пап друг с другом. В 1088 г. клюнийская партия избрала папой Урбана II, искусная дипломатия которого поставила власть Генриха IV в Ломбардии в критическое положение. Генрих вновь двинулся в Италию, где с переменным успехом воевал в 1090-1092 гг. Новый мятеж в Германии, новый антикороль заставили императора вернуться в Германию.

Бесконечные междоусобицы в Италии и Германии вызвали усталость от породивших их причин. В Италии Урбан II на Клермонском соборе в 1095 г. сумел возглавить и отчетливо озвучить идею крестовых походов. В Германии Генрих IV всячески содействовал возрожденной концепции «Божьего мира», столь желанной городам, министериалам, крестьянству и низшему клиру. И хотя на рейхстаге в Майнце в 1103 г. принимается решение об «общем мире» по всей стране, предусматривавшее жесткие санкции за нарушение имущественной и личной безопасности всего населения, это не остановило распри в стране.