Эти непрекращающиеся заговоры в Северной Италии Урбан II сумел использовать в своих целях. Уже в конце 1093 года ему удалось окончательно отвоевать Рим, а в следующем году он отправился в Северную Италию, где в марте 1095 года синод в Пьяченце оформил триумф папы. Прежние постановления о запрете симонии были вновь приведены в действие, а Виберт и его приверженцы снова отлучены от церкви. Также и жалоба Евпраксии, которая явилась на синод, была признана справедливой, и она получила отпущение грехов. Вскоре после этого в Кремоне встретились король Конрад и папа. Король клятвенно заверил Урбана в своей надежности и исполнил из почтения к нему службу конюшего («officium stratoris»), как маршал ведя коня папы под уздцы. Урбан со своей стороны обещал помочь ему отвоевать империю. Содействуя женитьбе Конрада на дочери графа Рожера Сицилийского, он хотел крепче связать его с оппозицией против Генриха.

Синод в Пьяченце не только принес папе ощутимый успех в деле церковной реформы, но и вызвал другое в высшей степени значительное для истории всей Западной Европы событие. На синод прибыли посланники византийского императора Алексея I, просившие о помощи в борьбе против турок-сельджуков которые после завоевания обширной части Малой Азии стали угрожать столице империи. Еще в начале своего понтификата Урбан, продолжая традиционную папскую политику на Востоке, вел переговоры с Алексеем о создании церковного союза. Согласившись теперь удовлетворить просьбу и призвав поддержать императора, он не только утвердил линию прежних переговоров, но и придал решающий импульс развитию крестоносного движения.

В XI веке идея священной войны, борьбы против неверных, переросла, прежде всего с началом папских реформ, в радикальное движение. Под знаком этой идеи шла война с сарацинами в Сицилии и Испании. Григорий VII хотел использовать «militia sancti Petri» также и в иерархических целях папства. Урбан II вновь обращает инициативу христианского рыцарства в большей степени вовне и связывает борьбу против язычников с популярным движением паломников в Иерусалим, издавна выражавшимся в бесчисленных поездках пилигримов к святым местам христиан в Палестине. Одним из самых массовых паломничеств был поход в Палестину, предпринятый немецкими пилигримами — по утверждениям источников, несколькими тысячами человек — в 1064 году под предводительством архиепископа Зигфрида Майнцского и других епископов. Только объединение этих двух изначально разрозненных течений придало крестоносному движению его всемирно-историческую значимость. Название «крестовый поход» для этой новой формы вооруженного паломничества появилось только в XIII веке.

Прорыв этого движения в жизнь во всей его полноте произошел на синоде, который Урбан провел в ноябре 1095 года на французской земле в Клермон-Ферране. В яркой проповеди 27 ноября, в которой папа, в частности, обещал отпущение грехов, ему удалось воодушевить присутствующих планом похода на Иерусалим. Изначальная идея оказания помощи императору Алексею все больше оттеснялась на задний план целью освобождения Гроба Господня из рук неверных. Фанатичные проповедники, такие как Петр Пустынник (Амьенский), распространили эту идею в самых широких кругах. Уже зимой 1095 года на Восток отправились первые неорганизованные толпы крестоносцев. При их продвижении вдоль Рейна в некоторых епископских городах начались жестокие преследования евреев, которые зачастую могли избежать смерти только благодаря насильственному крещению. Как только эти первые крестоносцы достигли Малой Азии, они были уничтожены турками.

Выступившие в 1096 году рыцарские войска были снаряжены гораздо лучше. Ни одна из коронованных особ Западной Европы не приняла участия в походе. Генрих IV и Филипп I Французский находились под церковным отлучением. Английский король Вильгельм II, унаследовавший в 1087 году трон своего отца Вильгельма Завоевателя, все еще был занят укреплением норманнской власти в Англии. Участником Первого крестового похода было в основном романское рыцарство Франции и Южной Италии. В Германии только западные области были охвачены крестоносным движением. В нем участвовали лотарингские рыцари под предводительством Готфрида Бульонского, которому в 1092 году Генрих IV передал герцогство Нижняя Лотарингия, и его брата Балдуина.

Значительнее самих событий крестового похода для немецкой истории являются его результаты. Необходимость закрепить достигнутые в трудной борьбе успехи постоянно давала новые импульсы крестоносному движению также и в Германии. Император Алексей I, который, прося помощи, думал не о самостоятельных армиях, а о послушных наемных отрядах, отнесся к предприятию весьма сдержанно. Он только тогда оказал крестоносцам необходимую помощь, когда они объявили о своей готовности признать его сюзеренитет над отвоеванными ими областями, ранее принадлежавшими Византийской империи. Изматывающие бои в Малой Азии, которые начались в 1097 году, усугублялись отсутствием единства среди князей-предводителей. При этом на первый план все более фатально выступала светская подоплека крестового похода. Когда летом 1098 года, после длившейся несколько месяцев осады, в руках крестоносцев оказался важный город Антиохия, то Боэмунд Тарентский, сын Роберта Гвискара, вместе со своими норманнскими рыцарями основал здесь княжество. Еще раньше Балдуин, брат герцога Готфрида, двинулся дальше на восток, чтобы взять под свою власть территорию Эдессы. В то же время предводитель. южнофранцузских рыцарей Раймунд Тулузский, завоевав области у побережья Сирии, заложил основы будущего графства Триполи. Сам Иерусалим был покорен крестоносцами только после длительной осады 15 июля 1099 года. В городе ими была устроена кровавая резня. Королевство Иерусалимское стало самым значительным среди этих новых крестоносных государств. Готфрид, его первый правитель, называл себя также «защитником Гроба Господня» («advocatus sancti Sepulchri»). Только Балдуин, который в следующем году сменил своего скончавшегося брата Готфрида, наделил себя королевским титулом.

Папа, которого в крестовом походе должны были представлять его легаты, смог лишь в незначительной степени осуществить свои притязания на руководство. Но тот факт, что с завоеванием Иерусалима крестовый поход принес исключительно впечатляющий успех, должен был существенно укрепить авторитет папы в борьбе за церковную реформу. Однако сам Урбан скорее всего не успел получить известия о завоевании города. 29 июля 1099 года (через 14 дней после падения Иерусалима) он скончался.

В то время когда войска крестоносцев продвигались на восток, Генрих IV был временно лишен всякого политического влияния. Однако в последующие годы его положение постепенно стало улучшаться. На это благоприятно повлиял распад вельфско-тосканского супружеского союза: уже в 1095 году Вельф V расторг брак со своей супругой Матильдой. Его отец Вельф IV примирился с Генрихом и в 1096 году снова получил в лен Баварию. Благодаря заключению мира с Вельфами Генрих IV в начале 1097 года смог вернуться в Германию. В Швабии также был достигнут мир: Бертольд II фон Церинген, антигерцог с 1092 года, отказался от герцогства в пользу Фридриха I Штауфена. За это он получил имперское фогтство Цюрих и сохранил титул «dux» («герцог»). Своего мятежного сына Конрада император объявил лишенным короны на рейхстаге в Майнце в 1098 году и в следующем году короновал своего младшего, тогда еще двенадцатилетнего, сына Генриха. Но при этом он заставил его поклясться в том, что тот никогда при жизни своего отца против его воли не будет вмешиваться в государственные дела.

Теперь власть императора была всецело признана по всей Германии. Однако все его попытки прийти к соглашению с церковью были тщетны. После смерти Урбана папой под именем Пасхалия II был избран в августе 1099 года кардинал-пресвитер Райнер (Раньеро), решительный сторонник реформаторских идей. К примирению с Генрихом он не был готов даже после смерти антипапы Виберта (ум. 1100). На синоде в 1102 году он снова отлучил императора от церкви.