После убийства халифа Усмана в Медине установилось безвластие. В течение первых пяти дней после убийства халифа власть взял на себя лидер мятежников аль-Гафики бин Харб аль-Кааки. Бунтовщики прекрасно понимали, что их лидер не может оставаться у власти, и им было необходимо выбрать нового халифа. Но эти выборы не могли осуществиться без совета ансаров и мухаджиров. В той ситуации мусульмане никогда не согласились бы с иной постановкой вопроса о власти.

Мятежники, представлявшие в городе значительную политическую силу, были заинтересованы в том, чтобы уйти от ответственности за убийство халифа Усмана и старались привести к власти человека, которым бы они могли манипулировать, преследуя собственные интересы. Они хотели добиться созыва совета мухаджиров и ансаров для избрания нового халифа и, оказав на них давление, избрать халифом удобного им человека. Но между ними начались споры относительно претендента на власть. Поскольку мятежники были представлены разными регионами, египтяне хотели видеть халифом Али ибн Абу Талиба, басрийцы — Тальху ибн Убайдуллу, а куфийцы — аз-Зубайра ибн аль-Аввама. Однако эти сподвижники Пророка отказались возглавить государство. Тогда мятежники обратились с тем же предложением к двум другим влиятельным сподвижникам — Сааду ибн Абу Ваккасу и Абдулле ибн Умару. Они тоже категорически отказались принять их предложение.

В конечном итоге, они сошлись на кандидатуре Али ибн Абу Талиба и еще раз предложили ему прийти к власти, но Али вторично ответил отказом.

Опасаясь того, что приближающаяся армия войдет в Медину и подавит мятеж, бунтовщики пригрозили устроить в городе резню и перебить всех сподвижников Пророка, включая Али и аз-Зубайра, в случае, если мединцы не изберут нового халифа. Положение осложнялось с каждым днем, поэтому горожане и сподвижники Пророка обратились к Али с просьбой согласиться возглавить Халифат. Однако Али снова ответил отказом, ссылаясь на сложность создавшейся обстановки. Лишь после настойчивых обращений он дал свое согласие стать четвертым халифом. Будучи умным и влиятельным человеком, он понял, что в противном случае события могут развиваться по еще более опасному сценарию и грозить непредсказуемыми потрясениями для мусульманского общества. На следующий день народ присягнул Али. В числе присягавших в тот день были Тальха и аз-Зубайр. Это произошло в конце месяца Зульхиджа 35 года хиджры.

Став халифом, Али решил, прежде всего, вывести из Медины бунтовщиков. Они уже добились избрания нового халифа и начали требовать смещения наместников, назначенных Усманом. Только в этом случае они могли удалиться из города, посчитав свою миссию выполненной. В противном случае, они угрожали очередной дестабилизацией политической обстановки в Халифате.

У Али, как у нового халифа, тоже были планы кадровой перестановки наместников провинций. Поэтому он принял решение сменить власть в провинциях, несмотря на то, что некоторые сподвижники советовали ему повременить с этим. Безусловно, как глава государства, он был вправе отозвать одних и назначить других наместников.

Али назначил наместником Басры Усмана ибн Хунайфа, наместником Йемена — Убайдуллу ибн Аббаса, наместником Египта — Кайса ибн Саада ибн Убабу. Наместника Куфы Абу Мусу аль-Ашари он оставил на своем месте по причине того, что тот сразу привел к присяге новому халифу все население провинции. С Меккой возникли осложнения. Несмотря на то, что халиф Али назначил туда наместником Халида ибн аль-Аса ибн Хишама ибн Мугиру аль-Махзуми, мекканцы отказались его признавать. В городе собралась часть мединцев, некоторые снятые с должностей наместники провинций и представители рода Омейядов. Они выразили недовольство происходившими в государстве процессами. Вскоре сюда, с ведома Али, приехали Тальха и аз-Зубайр. Таким образом, Мекка превратилась в один из центров оппозиции новому халифу и оставалась без представителя центральной власти. Лишь позднее туда был назначен наместником Кусам ибн Аббас.

Другое серьезное сопротивление халиф Али встретил в лице правителя Сирии Муавии ибн Абу Суфьяна из рода Омейядов, который к тому времени превратился в достаточно влиятельного и популярного человека. Он не присягнул Али, несмотря на то, что халиф предлагал это сделать это. Муавия решил выждать и посмотреть, каков будет расклад сил между Али и восставшими бунтовщиками в Медине. Тогда Али сместил Муавию и послал туда наместником Сахля ибн Хунайфа, однако его не впустили в провинцию.

Несмотря на существование оппозиции, власть Али была законной и соответствовала мусульманскому шариату. Он был избран халифом старейшими сподвижниками Пророка, и его власть была признана большинством провинций. Политическое положение в Халифате оставалось сложным и неоднозначным. С одной стороны, значительная часть общественности выражала недовольство тем, что в Медине все еще оставались мятежники, убившие халифа Усмана. По этой причине многие отказывались повиноваться Али. С другой стороны, социальная база мятежников и их влияние в обществе все еще было значительным. Халиф Али понимал необходимость наказания бунтовщиков, однако поспешные действия в этом направлении могли повлечь за собой опасные последствия. Он стремился, в первую очередь, упрочить свою власть, добиться признания его власти большинством сподвижников и принять присягу от всех провинций, включая Сирию. Лишь после этого он мог с уверенностью начать преследование убийц Усмана. Однако именно этот вопрос стал причиной гражданского противостояния в Халифате. Значительная часть общественности, включая некоторых сподвижников Пророка Мухаммада, требовала немедленного наказания убийц халифа Усмана.

В Египте часть населения отказалась присягнуть халифу. Люди ушли в местность под названием Харбета. Назначенный халифом Али наместник Египта Кайс ибн Саад ибн Убада, видя сложность положения в провинции, не принял по отношению к ним никаких карательных мер. Халиф Али понимал, что существование такой оппозиции может, в конечном итоге, привести к потере контроля над всей провинцией. Поэтому он приказал Кайсу силой добиться от них повиновения. Однако Кайс счел свою точку зрения более верной и не стал выполнять это распоряжение. Он подал в отставку и приехал к халифу Али в Медину. Вместо него Али назначил наместником Египта Мухаммада ибн Абу Бакра. Тот сразу же приступил к исполнению приказа халифа и попытался уничтожить оплот оппозиции в Харбете, однако ему не удалось справиться с этой сложной задачей. Халиф Али отозвал его и назначил на его место аль-Аштара ан-Нахи. Однако по дороге в Египет тот умер от отравления. Тогда халиф Али вновь назначил на должность наместника провинции Мухаммада ибн Абу Бакра и призвал куфийцев помочь ему навести порядок в Египте, однако сильной армии против повстанцев ему собрать так и не удалось. Все эти события закончились тем, что Египет был захвачен наместником Сирии Муавией ибн Абу Суфьяном, который послал туда Амра ибн аль-Аса. В результате этих событий Мухаммад ибн Абу Бакр погиб. Таким образом, в 38 году хиджры Египет вышел из-под контроля халифа Али.

Сложная ситуация сложилась и в Куфе. Ее наместник Абу Муса аль-Ашари был миролюбивым человеком и сразу признал власть Али. Однако в провинции, как и в других областях Халифата, также сформировалась оппозиция халифу Али. Несмотря на настойчивые требования халифа, Абу Муса не стал прибегать к силовым методам в борьбе с оппозицией, и это привело к отставке наместника.

Аналогичная ситуация сложилась и в Мекке. Мединцы, которые вернулись в Мекку после хаджа, узнав об убийстве Усмана, решили отправиться в Басру. К ним присоединились и некоторые мекканцы, в том числе жена Пророка Аиша.