Особое соглашение немецких князей в Трибуре и их отправленное папе приглашение посетить Германию для разрешения спора между ними и королем оказались весомее предложения короля. Когда Григорий, откликнувшись на призыв немецкой знати и отклонив просьбу короля об отпущении ему грехов в Риме, отправился в Северную Италию, Генрих оказался в новом, неожиданном для него положении. Если Григорий прибудет в Германию, то все, достигнутое королем, как тот надеялся, благодаря уступкам в Трибуре — разлад между папой и княжеской оппозицией, — грозило пойти прахом. В этой ситуации Генрих решился на смелый шаг. Вместе с супругой Бертой, двухлетним сыном Конрадом и своей обычной свитой он, несмотря на непривычно суровую зиму, отправился в декабре в Бургундию. Отсюда, поскольку немецкие альпийские перевалы для него были закрыты, он под новый год двинулся через Мон-Сени в Северную Италию, чтобы здесь добиться у папы отпущения грехов.

После прибытия короля в Северную Италию его ломбардские сторонники надеялись, что он призовет их к борьбе против папы. Григорий, который остановился у подножия Альп, где его должен был встретить эскорт немецких князей, также предположил, что Генрих готовится к военным действиям. Поэтому папа вернулся в надежный замок Каносса на северном склоне Апеннин, под защиту маркграфини Матильды.

Подробности действительных событий накануне Каноссы и в Каноссе неизвестны, так как настроенная против короля историография того времени стремилась изобразить их в уничижительном для Генриха свете. Из города Реджо-нель-Эмилия Генрих начал вести переговоры. Продолжены они были в близлежащем замке маркграфини или в одном из местечек у подножия горы. При этом аббат Клюни Гуго и, прежде всего, маркграфиня Матильда взяли на себя роль посредников. Одновременно король три дня подряд появлялся перед замком в рубище, выполняя тем самым предписанный церковью ритуал покаяния. Только на третий день, 28 января 1077 года, когда Генрих уже хотел уехать, папа решил пойти ему навстречу и отпустить королю грехи, после того как были определены соответствующие условия. Генрих обязывался в течение установленного папой срока дать князьям удовлетворение или прийти к соглашению с ними. Далее он должен был обеспечить папе свободный проезд в случае его вояжа в Германию.

Только после того как это соглашение было закреплено двумя епископами клятвой от имени короля, папа отпустил королю грехи и, причастив, снова принял его в лоно церкви. Даже если Григорий в своем обращении к немецким князьям утверждал, что по вопросам империи в Каноссе ничего не было решено, то в действительности в последующие годы он обращался с Генрихом как с королем, хотя до конца и не признавал его таковым. Не было достигнуто соглашения по вопросу об инвеституре. При следующей встрече в Бьянелло, недалеко от Каноссы, было намечено проведение собора в Мантуе, но он не состоялся, так как ломбардские епископы не были готовы к примирению. Григорий некоторое время оставался в Северной Италии, но затем вернулся в Рим. Генрих также решил на Пасху вернуться в Германию, после того как получил известие об избрании антикороля.

Вопрос о том, были ли события в Каноссе поражением или успехом Генриха IV, является предметом постоянных дискуссий. Если ранние исследования, прежде всего под влиянием тенденциозного отображения фактов Лампертом фон Херсфельдом, видели в этих событиях глубокое унижение Генриха, то позднее подчеркивался, в первую очередь, тактический успех короля, а иногда даже прямо говорилось о его победе. Без сомнения, отпущение грехов Генриху в тот момент означало для него дипломатическую победу. Ему удалось помешать объединению Григория с противниками короля внутри Германии. Поездка папы в Германию была отложена, а затем окончательно отменена. Король вернул себе свободу действий.

Но что касается идеи сакрального господства, то Каносса нанесла королю тяжелый ущерб. Неслыханное для многих современников притязание папы на право отлучать короля от церкви и лишать его королевского достоинства было в принципе признано Генрихом — тем самым монархом, который еще несколько месяцев назад объявлял свою власть исходящей непосредственно от Бога. Подчинившись папе как судье, он отказывался от этой милости Божьей. Таким образом, этот день все же ознаменовал судьбоносный шаг на пути освобождения традиционной картины мира от представления о союзе обеих высших властей, равно как и утрату позиций тезисом о королевской власти, равной власти священнической. Поэтому с полным на то основанием недавно снова заговорили именно о «переломе в Каноссе»…

Немецкая оппозиция должна была рассматривать снятие с короля отлучения от церкви как нарушение своей договоренности с папой. Поэтому она решила действовать самостоятельно. Согласно Ульмской договоренности в марте в Форххейме состоялся съезд князей. Папа также был приглашен, но смог отправить только двух легатов, которые должны были добиться отсрочки избрания нового короля. Но в действительности они, устранив трудности, возникавшие во время переговоров, оказали этим воздействие на избрание, в конечном итоге состоявшееся. После того как Генрих по всей форме был низложен, духовные и светские князья сошлись на кандидатуре Рудольфа Швабского, весьма близко принимавшего реформаторские устремления. 15 марта 1077 года он был возведен на королевский трон. События в Форххейме стали важным этапом в истории развития немецкого королевского избирательного права. Идее права наследования, рассматривающегося только как обычай, здесь вновь противопоставляется принцип свободного выбора. Ясно определяется, что в будущем германский король может быть возведен на трон только путем свободных выборов и что сын короля, даже если он этого достоин, не может иметь притязаний на наследование власти своего отца. Рудольф также должен был согласиться с этим и, кроме того, признать каноническое избрание епископов, однако от инвеституры как таковой не отказался. Папе он отправил уведомление об избрании и объявил о своем ему послушании.

Однако Григорий пока не признавал Рудольфа. Его целью на тот момент было проведение политики нейтралитета, чтобы как можно дольше сохранять за собой роль арбитра. Эта политика осложнялась тем, что Рудольф рассматривался как кандидат от церковной партии. Поведение Григория в последующие годы озадачило его сторонников в Германии. Даже его легаты не строго придерживались такой папской политики. В ноябре 1077 года один из них вновь отлучил короля от церкви.

Власть германского антикороля с самого начала была не очень прочной. Только в Саксонии у него была серьезная поддержка. Оттон Нортхеймский, как и прежде, оставался одним из ведущих деятелей антикоролевской партии в Германии. Даже собственное герцогство Рудольфа, Швабия, недостаточно уверенно выступало на стороне антикороля. Так что Генриху IV после его возвращения в Германию удалось с растущим успехом приняться за борьбу со своми противниками. Сначала он устранил трех мятежных южнонемецких герцогов. Швабию и Баварию он первое время удерживал под своей властью, а Каринтию передал маркграфу Лиутольду фон Эппенштейну. Только на Пасху 1079 года он передал Швабское герцогство Фридриху фон Бюрену, который тогда обручился с дочерью Генриха Агнессой. Теперь Штауфены, так в дальнейшем этот род будет назван по своему вновь воздвигнутому родовому замку, выступают на историческую сцену в качестве союзников Салической династии…

Для конфликтов последующих лет характерно то, что родовые противоречия уступили сословным. В Баварии, где Генрих все больше укреплял свою позицию, на его сторону встали низшие слои знати, тогда как в Швабии произошел ее раскол. Но в первую очередь Генрих смог опереться на городское и крестьянское население в Верхней Германии и Рурской области, с помощью которого и формировал войско. Требования реформаторов относительно целибата священников привлекли на сторону Генриха часть низшего клира.