Согласно Библии, около 1000 года до н. э. евреи под предводительством царя Давида завоевали город Салим у иевусеев, называвших его Йевус. Давид построил здесь крепость – «Град Давида» (Ир Давид), провозгласил ее столицей Израильского царства и перенес в нее величайшую еврейскую святыню – Ковчег Завета. Тем самым Давид превратил свою столицу в святой город, вокруг которого сконцентрировалась религиозная жизнь всех двенадцати колен Израиля. В 970 году до н. э. на смену Давиду пришел его сын Соломон, построивший более основательный Святой Храм на том месте, которое библейская книга Паралипоменон отождествляет с алтарем Давида. Храм Соломона (Первый Храм) продолжил играть центральную роль в еврейской истории как место хранения Ковчега Завета.

К концу правления Соломона (около 930 года до н. э.) десять северных колен Израилевых откололись от Объединенной Монархии. Южные племена остались в Иерусалиме, который стал столицей Иудейского царства.

В 586 году до н. э. город захватили вавилоняне, которые забрали в плен царя Цедкиягу вместе с высокопоставленными жителями Иудеи, опустошили и сожгли Храм Соломона до самого основания и разрушили городские стены. Ковчег Завета был при этом утерян. Большинство жителей Иерусалима были убиты, оставшиеся взяты в плен и угнаны в рабство в Вавилонию. Так завершился период Первого Храма.

В 538 году до н. э. завоевавший Вавилонию персидский царь Кир Великий издал декрет, разрешивший изгнанникам возвратиться в Иудею и восстановить Иерусалимский храм. Около 333 года до н. э. Иерусалим и вся Иудея без сопротивления покорились Александру Македонскому, который подтвердил привилегии, данные городу персидскими правителями. Однако после смерти Александра Иерусалим был захвачен и частично разрушен правителем Египта Птолемеем I Сотером, а в 167 году до н. э. Антиох IV Эпифан осквернил Храм, поставив на Жертвенник всесожжения алтарь Зевса Олимпийского. Это спровоцировало восстание Маккавеев (167–163 годы до н. э.). Греческие завоеватели были изгнаны из страны. Воцарилась династия Хасмонеев, правившая до 63 года до н. э., когда город стал административным центром римского протектората Иудея. В 37 г. до н. э. Иерусалим был захвачен Иродом Великим, который принял решение о переустройстве Храмовой горы и о перестройке самого Храма.

В 70 году при подавлении великого иудейского восстания против римлян, вошедшего в историю как Первая Иудейская война, Иерусалим осадила римская армия во главе с Титом. Девятого Ава Храм запылал. Через некоторое время Иерусалим был превращен в руины, а Храмовая гора распахана. В 130 году император Адриан повелел построить на развалинах Иерусалима римскую колонию, которой было дано название Элия Капитолина. На месте Храма Адриан приказал воздвигнуть святилище, посвященное Юпитеру, а на том месте, где некогда находилась Святая Святых, была воздвигнута конная статуя Адриана. Это вызвало новое еврейское восстание против Рима (Восстание Бар-Кохбы или 2-я Иудейская война, 132–136 годы). Летом 135 года восстание было подавлено. Адриан издал декрет, по которому всем, кто подвергся обрезанию, доступ в город запрещался.

В 325 году римский император Константин I вернул название «Иерусалим» и восстановил город как центр христианского богослужения. Константин распорядился о сооружении в городе христианских святых мест, включая (в 335 году) Храм Гроба Господня.

В V веке начался византийский период в истории Иерусалима. На протяжении нескольких десятилетий Иерусалим переходил от византийского правления к персидскому, затем снова оказывался римско-византийским владением. В 638 году Патриарх Софроний I сдал Иерусалим новому завоевателю, арабскому халифу Умару ибн аль-Хаттабу, и Иерусалим постепенно начинает приобретать мусульманский облик. Чуть позже в Иерусалиме был провозглашен халифом Муавия I, основатель династии Омейядов.

В 1099 году участники Первого крестового похода под предводительством Готфрида Бульонского захватили Иерусалим и уничтожили все его мусульманское население. Город стал столицей Иерусалимского королевства. В 1187 году, после непродолжительной осады, Иерусалимом овладели войска египетского султана Салах ад-Дина (европейцы называли его Саладином). Все церкви города, кроме храма Воскресения, были обращены в мечети. В 1229 году Фридриху II удалось на время вернуть Иерусалим христианам. Однако в 1244 году Иерусалим захватили Айюбиды.

В 1517 году Иерусалим был захвачен османскими турками. При Сулеймане Великолепном Иерусалим процветал, переживая период мира и обновления, включая восстановление мощных стен вокруг территории, ныне именуемой «Старым городом». Правление Сулеймана и последовавших за ним османских султанов принесло городу период «религиозного мира»; еврей, христианин и мусульманин пользовались свободой вероисповедания, гарантированной османами, и на одной и той же улице можно было найти синагогу, церковь и мечеть. Однако безграмотное управление империей после Сулеймана обусловило экономическую стагнацию; на протяжении большой части османского периода Иерусалим оставался провинциальным – хотя и религиозно значимым – центром.

В 1850-е годы возникают первые постоянные поселения за пределами стен Старого города. По мере того как эти общины росли и соединялись географически, они стали известны под названием «Новый город».

В 1917–1947 годах Иерусалим являлся административным центром английской подмандатной территории Палестина. 29 ноября 1947 года Генеральная Ассамблея ООН приняла резолюцию 181 (II) «Будущее правительство Палестины» о разделе Палестины на еврейское и арабское государства. Резолюция предусматривала для Иерусалима специальный международный режим, который должен был обеспечиваться Организацией Объединенных Наций через Совет по опеке. Представители Еврейского агентства согласились с планом раздела, однако арабские государства и представитель Высшего арабского комитета отвергли его, заявив, что они не считают себя связанными этой резолюцией. Непреодолимые разногласия между сторонами в этом конфликте привели к тому, что после окончания в Палестине британского мандата в 1948 году арабские страны начали полномасштабную арабо-израильскую войну. 15 мая 1948 года Иерусалим был атакован ударными частями трансиорданского Арабского легиона. К концу 1948 года, когда боевые действия в районе утихли, город состоял из двух частей: Западный Иерусалим находился под контролем Израиля, а Восточный, включая Старый город, – под контролем Трансиордании.

13 декабря 1948 года Восточный Иерусалим в составе Западного берега реки Иордан был аннексирован Трансиорданией. Эта аннексия не была признана ООН и большинством стран Лиги арабских государств; ее признали только Великобритания, Пакистан и СССР.

3 апреля 1949 года было подписано перемирие с Трансиорданией. Оно предусматривало создание объединенной комиссии для выработки условий возобновления работы Еврейского университета и больницы Хадасса на горе Скопус, предоставление евреям свободного доступа к святым местам в Старом городе и к большому еврейскому кладбищу на Масличной горе. Однако иорданцы не выполнили этих пунктов договора.

В декабре 1949 года Премьер-министр Израиля Давид Бен-Гурион объявил «Еврейский Иерусалим» органичной и неотделимой частью государства Израиль и предложил перенести столицу государства из Тель-Авива в Иерусалим. В марте 1950 года состоялось первое заседание Израильского парламента – Кнессета – в Иерусалиме, на котором он был объявлен столицей государства.

Впоследствии Бен-Гурион пояснил свое решение перенести столицу в Иерусалим: «Почему я решил, что это нам удастся? Прежде всего, я знал, что у нас есть союзник – Трансиордания. И если ИМ позволили остаться в Иерусалиме, то почему должны запретить НАМ? Трансиордания никому не позволила выставить ее из Иерусалима; следовательно, никто не сможет и нас заставить это сделать. <…> Я был твердо убежден, что все предостережения, которые делала ООН, не больше, чем пустые слова».

В 1967 году, в ходе Шестидневной войны, Иордания отступила с Западного берега р. Иордан, и восточная часть Иерусалима перешла под контроль Израиля.