Узнав о безвластии в Дамаске, Ибн аз-Зубайр в феврале 684 г. объявил себя халифом. Он сразу же лишился поддержки иракских хариджитов, которые, отстаивая идею выборности правителя, не признали его законным халифом, но по-прежнему пользовался влиянием в Аравии и имел немало сторонников в Египте, Ираке и Хорасане. К нему также примкнули вожди некоторых арабских племен Сирии и Палестины (как из калбитов, так и из кайситов). Не остались в стороне от борьбы за власть и вожди хариджитов — Нафи ибн ал-Азрак и Наджда ибн Амир ал-Ханафи. Поначалу они поддерживали Ибн аз-Зубайра в его противостоянии Йазиду I, но затем отмежевались от него и уехали из Мекки в Басру. Очень скоро между ними возникли разногласия.

Ибн ал-Азрак занимал непримиримую позицию по отношению к мусульманам-нехариджитам. Он считал их язычниками, с которыми нельзя идти ни на какие соглашения; даже те из хариджитов, которые не принимали участие в хариджитских восстаниях, рассматривались им как изменники. Последователи Ибн ал-Азрака впоследствии получили название «азракитов». Наджда ибн Амир придерживался более умеренных взглядов, допуская общение хариджитов с иноверующими мусульманами. Так и не договорившись с Ибн ал-Азраком, Наджда летом 684 г. ушел из Басры в Йамаму. Там он возглавил местных хариджитов и значительно укрепил свои позиции, захватил в 686–688 гг. Бахрейн, Оман и Йемен.

Несмотря на то, что сам Ибн ал-Азрак вскоре погиб в одной из стычек с басрийцами, азракитам удалось распространить свою власть на ал-Ахваз (Хузистан), Фарс и Керман. Своего вождя ал-Катари ибн ал-Фуджаа они провозгласили халифом. Азракиты нашли поддержку среди сельского населения этих областей Южного Ирана, но широкой социальной базы не имели, так как своим экстремизмом отталкивали от себя остальных мусульман.

Трагическая гибель Хусейна побудила куфийских шиитов искать способы отмщения его убийцам-Омейядам и (в перспективе) передачи власти представителю «дома Пророка». Часть шиитов шли за Сулейманом ибн Сурадом, другие поддерживали прибывшего из Мекки ал-Мухтара ибн Аби Убайда ас-Сакафи, который объявил себя представителем Мухаммада ибн ал-Ханафии (637–700), сына Али (не от Фатимы, а от другой жены — Хаули бинт Джафар из племени ханиф). Выступление Сулеймана потерпело неудачу — собранные им отряды в начале 685 г. были разбиты сирийскими войсками.

В октябре 685 г. ал-Мухтар поднял восстание в Куфе. Его сторонники осадили дворец наместника (ставленника мекканского халифа Ибн аз-Зубайра Абдаллаха ибн Мути) и вынудили куфийскую знать присягнуть ал-Мухтару. Через некоторое время повстанцы захватили Мосул и совершили неудачный рейд на Мекку. В августе 686 г. на р. Хазир отряды ал-Мухтара нанесли тяжелое поражение сирийскому войску, отбили утраченный к тому времени Мосул и вошли в Нисибин. В восстании ал-Мухтара активное участие принимали мусульмане-неарабы (мавали) и рабы, из-за чего знатные куфийцы в конце концов отшатнулись от ал-Мухтара, а некоторые даже выступили против него. Ал-Мухтар ответил на это казнями, заставив уцелевших аристократов обратиться за помощью к басрийцам, поддерживавшим Ибн аз-Зубайра. Басрийцы с боями прорвались в Куфу и блокировали резиденцию ал-Мухтара. После четырехмесячной осады сторонники ал-Мухтара сдались и впоследствии были казнены, а сам он погиб в бою в апреле 687 г.

Несмотря на гибель ал-Мухтара, проповедовавшаяся им идея об имамате Мухаммада ибн ал-Ханафии нашла продолжателей среди шиитов. Они получили общее наименование «кайсанитов», по имени начальника гвардии ал-Мухтара Абу Амра Кайсана. Кайсаниты, вслед за ал-Мухтаром, приписывали Мухаммаду ибн ал-Ханафии знание сокровенных тайн, хранившихся в роду Али, и на этом основании считали его преемником Али. После смерти Мухаммада ибн ал-Ханафии, решая вопрос о том, кто из его потомков более всего достоин прав на имамат, кайсаниты размежевались на несколько общин (которые, в свою очередь, стали сами дробиться на более мелкие объединения). Учение кайсанитов впоследствии обогатило догматику шиитского ислама и сыграло большую роль в идейной подготовке прихода к власти Аббасидов.

В противовес Ибн аз-Зубайру сирийские арабы провозгласили халифом Марвана I (684–685) — сына ал-Хакама, двоюродного брата Абу Суфьана. Его избрание было обставлено рядом условий, в частности, было оговорено, что после смерти Марвана власть перейдет к Халиду ибн И азиду.

Марван захватил Дамаск и в сражении у Мардж Рахит разбил сирийских сторонников Ибн аз-Зубайра, что позволило ему стать хозяином положения в этой провинции Халифата. К концу 684 г. Марван захватил Египет, что еще больше укрепило его позиции. Поэтому по возвращении в Дамаск он объявил наследником своего сына Абд ал-Малика (685–705), положив таким образом начало второй ветви рода Омейядов — Марванидам.

Прежде всего новый халиф урегулировал отношения с Византией, поскольку одновременно с внутренними беспорядками сильно осложнилось положение на внешних границах. Византийцы изгнали арабов с Родоса, Крита и Кипра, а также разрушили базы арабского военного флота в Сирии, вернув себе тем самым господство в восточной части Средиземного моря. Арабов потеснили и в Малой Азии и даже в Сирии, где им пришлось отдать Антиохию. Летом 685 г. Абд ал-Малик был вынужден заключить крайне невыгодный для себя мирный договор с Константином IV, по которому халиф обязался платить византийскому императору по одной тысяче динаров, одному рабу и одному породистому коню за каждый день мира. В 687–688 гг. военные действия на византийско-арабской границе возобновились, но теперь успех сопутствовал арабам, которым удалось отбить Антиохию и дипломатическими средствами нейтрализовать союзников императора — мардаитов, укрепившихся в горных районах Сирии. Император Юстиниан И, вынужденный в это же время отражать натиск славян в Европе, пошел на заключение мира с Абд ал-Маликом. Арабы продолжали выплачивать дань, но размер ее существенно сократился, а византийцы обязались переселить мардаитов из Сирии в Армению.

Сразу же после заключения мирного договора с Византией Абд ал-Малик повел борьбу с внутренней оппозицией. Прежде всего были взяты под контроль города Месопотамии — хорошо укрепленный центр кайситов Киркисия и находившиеся в руках соратников ал-Мухтара Нисибин и Мосул. В 691 г. после победы при Маскине под власть Абд ал-Малика перешли Куфа и Басра. В Мосуле, Куфе и Басре Абд ал-Малик поставил своих наместников.

Первый поход против хариджитов Аравии окончился неудачей. Однако хариджитское объединение Наджды ибн Амира вскоре распалось из-за внутренних трений, а сам Наджда был убит в начале 90-х годов VII в. Вскоре после его гибели в Аравию было послано большое войско, которое разгромило хариджитских вождей Бахрейна.

Наконец, весной 692 г. полководец Абд ал-Малика ал-Хаджадж ибн Юсуф ас-Сакафи начал осаду Мекки, где в мечети укрылся Ибн аз-Зубайр и его немногочисленные соратники. Осажденные страдали от недостатка продовольствия, и некоторые из них покинули Ибн аз-Зубайра, в том числе и его сын Абдаллах. 5 ноября 692 г., пытаясь вырваться из окружения, Ибн аз-Зубайр погиб в бою. С его кончиной раскол Халифата удалось ликвидировать. Оставалось лишь справиться с его приверженцами в Хорасане и покончить с укрепившимися в южных районах Ирана азракитами ал-Катари. С этой целью Абд ал-Малик в 694 г. поручил управление всеми восточными областями Халифата ал-Хаджаджу ибн Юсуфу (694–714), который за несколько лет восстановил там порядок, жестоко подавляя всякое сопротивление.

Восстановив единство государства, Абд ал-Малик провел кардинальные реформы, благодаря которым в Халифате сформировалась собственные фискальная и административная системы. Все делопроизводство в канцеляриях было переведено на арабский язык. До этого в бывших византийских провинциях, особенно в Египте и Сирии, обходились услугами перешедших на службу к арабам прежних чиновников, пользовавшихся привычным для них греческим, сирийским или коптским языками, а в иранских провинциях — среднеперсидским. Это мероприятие привело к повсеместной замене старого чиновничества на арабское.