В середине мая 1102 г. египетское войско, состоявшее примерно из 20 000 египтян и суданцев, которым на этот раз командовал сын визиря Шарафа аль-Маали, стянулось к Аскалону и двинулось в сторону Рамлы. Балдуин уже приготовился к прибытию врага. В Яффе его ждало войско, состоявшее из нескольких тысяч христиан, а галилейские гарнизоны были готовы в случае необходимости прислать свои отряды. Но разведчики Балдуина подвели его. Посчитав, будто ему придется иметь дело с немногочисленным и недисциплинированным отрядом, он решил разделаться с египтянами самостоятельно, не призывая резервные войска. Вместе с Балдуином в Иерусалиме находились его друзья, приехавшие с Запада, – Стефан Блуаский, Стефан Бургундский, коннетабль Конрад, Гуго де Лузиньян и бельгийские рыцари, и он предложил им выступить против врага в сопровождении его конницы. Стефан Блуаский осмелился порекомендовать не принимать поспешных решений и предложил спланировать предстоящее сражение более тщательно. Но никто не стал его слушать, не забыв о трусости, проявленной им при осаде Антиохии. В итоге он был вынужден присоединиться к своим товарищам и больше ничего им не предлагал.
Таким образом, 17 мая Балдуин в сопровождении примерно 500 всадников выступил из Иерусалима. Они ехали весьма беспечно, не сохраняя строй. Балдуин осознал свою ошибку лишь тогда, когда крестоносцы прибыли на равнину и увидели многочисленную египетскую армию. Но пути назад уже не было. Египтяне заметили христиан, и их легкая конница уже скакала им навстречу, чтобы не позволить отступить. Крестоносцы понимали: им следует стремительно атаковать противника, иначе они лишатся последнего шанса на спасение. Египтяне, поначалу решившие, что перед ними всего лишь авангард более многочисленного войска, едва не обратились в бегство, испуганные подобным натиском, но затем, увидев, что за христианами никто не следует, сомкнули ряды и перешли в наступление. Солдаты Балдуина нарушили строй. Нескольким рыцарям во главе с Роже де Розуа и двоюродным братом Балдуина Гуго де Буром удалось прорваться сквозь ряды египтян и добраться до Яффы. Многие воины, включая Жерара д’Авена и Стабелона, бывшего мажордома Готфрида, погибли на поле боя. Однако сам король Балдуин и его товарищи сумели укрыться в небольшой крепости в Рамле, которая тотчас же оказалась окружена египетской армией.
От нападения противника крестоносцев спасло наступление ночи. Однако защитные сооружения Рамлы не вызывали оптимизма. Укрывшиеся понимали, что удержать, вероятно, смогут только башню, построенную по приказу Балдуина за год до этого. Поэтому все они поспешили спрятаться именно в ней. Посреди ночи к воротам подошел араб и сказал, что ему нужно поговорить с королем. Его пустили в крепость, и оказалось, что это муж той самой дамы, которую Балдуин пощадил во время похода в Трансиорданию. В благодарность за спасение жены он предупредил короля, что египтяне планируют начать брать крепость приступом на рассвете, и посоветовал ему бежать. Как бы ни жалел Балдуин, что ему придется оставить своих товарищей на верную гибель (хотя в целом его сложно назвать человеком чести), он понимал, что от его жизни зависит будущее целого государства. В сопровождении слуги и трех товарищей он на своем коне Газели пробрался через вражеское войско. Той же ночью крепость покинули наместник Яффы Литар де Камбре и Готман Брюссельский. Последний, хотя и тяжело раненный, сумел добраться до Иерусалима и рассказать о случившейся катастрофе. При этом он просил своих сородичей не отчаиваться, ибо верил, что Балдуин все еще жив.
Рано утром следующего дня египтяне начали штурмовать Рамлу. Вокруг башни, в которой укрылись рыцари, они разложили вязанки хвороста. Не желая гибнуть в пламени, пришельцы с Запада во главе с коннетаблем Конрадом выскочили на врага. Но пробиться на свободу им не удалось. Всех их перебили на месте или взяли в плен. Храбрость Конрада настолько поразила египтян, что они решили сохранить ему жизнь. В итоге его, а также более сотни его сородичей угнали в Египет в качестве пленников. Другие предводители крестоносцев: Стефан Бургундский, Гуго де Лузиньян и Жоффруа Вандомский – пали на поле боя. Погиб и Стефан Блуаский, славная смерть которого наконец способствовала восстановлению его репутации. Графиня Адела теперь могла спать спокойно.
Королева и все придворные снова находились в Яффе. Туда же прибыли Роже де Розуа и те, кто бежал вместе с ним, и тотчас же рассказали об ужасном поражении. Они опасались, что король погиб вместе со всеми остальными рыцарями, и собирались сесть на корабль и бежать, пока на это еще есть время. Однако 20 мая египетская армия подошла к городу, а на горизонте появился египетский флот. Когда египетский солдат стал размахивать мертвой головой, которая, как думали мусульмане, принадлежала королю (хотя на самом деле при жизни этот человек, действительно очень похожий на Балдуина, звался Гервольд из Виндеке), тем, кто находился в Яффе, показалось, будто все их худшие страхи претворились в жизнь. Внезапно на севере показалась небольшая ладья, плывшая в сторону города. Находившиеся там люди подумали, будто случилось настоящее чудо, ведь над суденышком развевался личный штандарт короля.
Бежав из Рамлы, Балдуин направился в сторону побережья, надеясь добраться до находившейся в Яффе армии. Но по сельской местности рыскали египетские солдаты. На протяжении двух дней и двух ночей он бродил по холмам, расположенным к северу от Рамлы, а затем поспешно пересек равнину Шарон, направляясь в сторону Арсуфа. Когда король прибыл туда вечером 19-го числа, его встретил переполненный радостью и удивлением наместник Роже Хайфский. Тем же вечером в Арсуфе к Балдуину присоединилось войско Галилеи, состоявшее из 80 отборных рыцарей, под командованием Гуго де Сен-Омера, который, едва услышав новость о наступлении египтян, поспешил на юг.
На следующее утро Гуго во главе своего отряда отправился на юг, чтобы попытаться прорваться к Яффе, а сам Балдуин убедил английского искателя приключений по имени Годрик перевезти его на корабле через египетскую блокаду. Стремясь поддержать придворных, Балдуин поднял над судном свой личный штандарт. Это увидели египтяне, тотчас же пославшие корабль на перехват. Однако в тот день дул сильный северный ветер, который это судно не смогло преодолеть, в то время как корабль, на борту которого находился Балдуин, благодаря ему быстро вошел в бухту.
Едва сойдя на берег, король занялся реорганизацией своих сил. До того как египтяне успели полностью замкнуть кольцо блокады вокруг города, он вырвался наружу, чтобы встретиться с князем Галилеи Гуго и провести его самого и его войско в город. Затем он отправил в Иерусалим гонца с приказом мобилизовать всех мужчин, живших как в самом священном городе, так и в Хевроне. В качестве посланника был избран местный монах, согласившийся перевезти послание Балдуина через вражеские ряды. Он покинул Яффу под прикрытием ночной тьмы, но на то, чтобы добраться до Иерусалима, ему потребовались три дня. Услышав от него о том, что король жив, горожане неимоверно обрадовались. Жителям Иерусалима удалось снарядить войско, состоявшее примерно из девяноста рыцарей и еще большей по численности легкой конницы и получившее в качестве дополнительной защиты фрагмент истинного креста. Оно спешно выдвинулось к Яффе. Хорошо вооруженные и обладавшие прекрасно обученными боевыми конями рыцари смогли прорваться в город, но легкую конницу противник сумел вытеснить в море. В итоге всадникам пришлось бросить лошадей и вплавь добираться до бухты. Тем временем Балдуин отправил Танкреду и графу Эдессы Балдуину письма, в которых сообщал о своих потерях и просил адресатов прислать подкрепление.
Однако еще до того, как правители расположенных на севере государств успели выступить в поход, Балдуин получил неожиданную помощь. В последние дни мая в Яффу благодаря попутному ветру через египетскую блокаду смогла прорваться флотилия, состоявшая из двухсот кораблей (в основном английских), на борту которых находились солдаты и паломники из Англии, Франции и Германии. Благодаря этому в распоряжении Балдуина появились столь необходимые ему дополнительные человеческие ресурсы. В итоге 27 мая он вывел из города армию, готовую встретиться с врагом лицом к лицу. Более или менее подробные сведения об этом сражении в источниках не сохранились. Судя по всему, египтяне безуспешно пытались заманить войско Балдуина в ловушку и окружить его, а коннице франков в конце концов удалось нанести удар, нарушивший строй противника и обративший его в бегство. Уже через несколько часов египетское войско сломя голову неслось в Аскалон, а лагерь египтян и все оставшееся там имущество были захвачены христианами.