Но не сразу. удалось Ярославу восстановить единство Руси. Смута начала XI в. надолго потрясла страну. И если за четыре года удалось вновь объединить Север и Юг страны, то некоторые окраины оказались неподвластны Киеву, и в первую очередь Полоцкая земля, где правил внук Рогволда Брячислав, и далекое Тмутараканское княжество, где «сидел» один из сыновей Владимира, рожденный в браке от «чехини», — Мстислав Владимирович.

Если с мятежом полоцкого князя, который на короткое время захватил Новгород, Ярослав справился быстро, то отношения с Мстиславом складывались не столь благополучно. Во время междоусобицы Мстислав Владимирович держался в стороне и укреплял свои позиции на Таманском полуострове. Он проявил себя смелым рыцарем и талантливым полководцем. Пока Ярослав дрался со Святополком, усмирял мятеж Полоцка и пытался, пока безуспешно, вернуть Руси «Червенские города», Мстислав прославился своими победами над северокавказскими народами. В летописи даже отложилась поэтическая легенда (которая, возможно, имеет под собой и некоторые реальные исторические факты) о том, как во время похода на касогов (черкесов) Мстислав вызвал на боевой поединок касожского князя Редедю, сумел одолеть его, обратившись к помощи Богородицы, и, согласно договору между бойцами, овладел землей и «имением» Редеди. По возвращении в Тмутаракань он заложил храм в честь Святой Девы, который стоял в городе и ко времени появления легенды в летописи. Летописец рисует Мстислава красивым, высоким, храбрым, щедрым человеком, который больше всего на свете любил свою дружину.

В 1023 г . между братьями вспыхнула открытая война, которая по существу являлась продолжением большой междоусобицы 1015—1019 гг. Мстислав двинулся на север, собрав большую рать и включив в нее отряды из подвластных ему народов, в частности хазар и касогов. Он выбрал удобное время для похода: Ярослав находился в своем любимом Новгороде. Тмутараканская рать подошла под самые стены Киева, но горожане «затворились» и не приняли Мстислава. Не решившись штурмовать столицу, Мстислав отошел к Чернигову и занял этот стольный город огромной земли, куда входила чуть ли не половина страны, включая всю Северо-Восточную Русь.

Ярослав вновь обратился за помощью к варягам. Он послал к ним гонцов, и вскоре в Новгород вошел варяжский отряд.

Встреча противоборствующих сторон произошла в 1024 г . под г. Листвином, неподалеку от Чернигова, в кромешной тьме, в дождь и грозу. Характерно, что против ударной силы Ярослава — варягов Мстислав выставил в «челе» войска, т.е. в центре, черниговскую дружину северян. Именно северяне и приняли на себя удар варягов, а потом при поддержке дружины самого Мстислава стали одолевать их. Ярославова рать не выдержала натиска Мстиславовых полков, и Ярослав вместе с предводителем варягов бежал с поля боя, минуя Киев, в Новгород. Русь снова раскололась надвое. Ярослав сохранил за собой Новгород, Мстислав остался властителем Черниговской и Тмутараканской земель. В Киеве сидели Ярославовы «мужи». Мстислав не решился на захват русской столицы.

Через два года Ярослав, собрав дружину на севере, появился в Киеве. На этот раз братья воздержались от дальнейшего «кроворазлитья» и заключили мир. Русь по этому миру была разделена на две части. Все левобережье Днепра с Северской землей, Черниговом, Переяславлем и другими городами отошло к Мстиславу. За ним оставалась и Тмутараканская Русь. Своей резиденцией Мстислав, ставший по существу правителем соседнего государства, сделал Чернигов. Под управлением Ярослава остались Киев с правобережными землями, весь Север Руси во главе с Новгородом.

Русь вновь оказалась расколотой. Поэтому фактически о едином государстве применительно к этому времени можно говорить лишь условно, хотя в последующие годы братья жили мирно друг с другом.

В начале 1030-х годов Польшу, как и Русь, потрясла междоусобица. К тому же новый польский король Мешко II ввязался в войну с Германией, не имея надежного тыла внутри страны. Ярослав использовал сложившуюся ситуацию. Как когда-то Болеслав I отнял у Киева во время междоусобных войн на Руси «Червенские города», так теперь Ярослав в союзе с Мстиславом нанес удар по польским землям. Практически Русь выступила союзником Германии. Братья собрали большое войско, «повоевали» польские земли, заняли вновь «Червенские города», захватили огромный полон.

В 1036 г . Мстислав умер, не имея наследников, а его часть Руси отошла к Ярославу. Так через двадцать с лишним лет после смерти Владимира I Русь снова стала единой, а Ярослав, как отметил летописец, наконец стал «самовластием».

Междоусобица показала, сколь непрочным еще было объединение Руси, сколь сильны были стремления некоторых земель к отделению от Киева. Эти стремления не могли притушить и сыновья Владимира. Напротив, сами они попадали под влияние той среды, в которой жили и правили.

На Руси, которая отличалась своими огромными территориями, по существу никогда не было и не могло быть прочного единства, как впрочем и в других государствах Европы. Уровень различия земель во всех отношениях, но в первую очередь в развитии хозяйства, культуры во многом содействовал постоянной борьбе окраин против центра, децентрализации страны. Кроме того, к началу XII в. на ее территории проживало 22 различных народа. Они вносили неповторимый национальный колорит в жизнь страны, содействовали интернационализации ее культуры, но они же постоянно вели к обособлению отдельных ее земель от центра, стремились к сохранению национальной самобытности, что часто порождало острые конфликты в древнерусском обществе, поскольку Киев рассматривал их как своих подданных и не хотел мириться с волеизъявлением этнических меньшинств.

Став «самовластием», Ярослав пошел по пути отца. Он послал в крупные города и земли своих сыновей и требовал их беспрекословного повиновения. В Новгород отправился старший сын Владимир, а после его смерти — следующий по старшинству сын Изяслав. Святославу он отдал под управление Черниговскую землю, Всеволоду — выросший к этому времени в сильную крепость Переяславль. И другие его сыновья были посланы в Ростов, Смоленск, Владимир-Волынский.

Воссозданное единство Руси, сосредоточение власти в руках великого князя, подчинение Киеву отдельных русских земель посредством направления туда великокняжеских сыновей-наместников стало той политической основой, на которой развились новые хозяйственные процессы, расцвели города, усложнилась общественная жизнь, двинулась вперед культура страны. Этому способствовало и то, что с середины 30-х и до начала 60-х годов Русь не видела на своей территории вражеских нашествий, а если и вела войны, то вдали от родных очагов.

Последнее крупное нападение кочевников-печенегов произошло в 1036 г . (до этого Русь уже более десяти лет жила в мире и покое). В это время Ярослав оставил Киев и находился в Новгороде. Видимо, этим обстоятельством, а также тем, что не стало великого воителя Мстислава, и решили воспользоваться печенеги.

Известие о нашествии врагов и о том, что они обступили Киев со всех сторон, пришло к Ярославу в Новгород в то время, когда он был занят обустройством своей земли. Именно в это время он «поставил» в Новгороде сына Владимира, назначил и нового епископа. Великий князь срочно собрал войско, и снова это были варяги, новгородская дружина и новгородские «вой» — ремесленники, смерды. Ярослав сначала пробился в Киев, а затем уже вышел в чистое поле для решающего сражения. Как обычно, в центре княжеского войска встали ударные силы — варяги, а на фланге выступали Киевляне и новгородцы. Весь день длился бой, и лишь к вечеру русы стали одолевать печенегов и те побежали «разно», т.е. кто куда. Многие из них были убиты, многие утонули в окрестных реках, спасаясь от преследователей вплавь. От этого поражения печенеги так и не смогли оправиться. После 1036 г . их набеги на Русь практически прекратились. В 1037 г . Ярослав в ознаменование блистательной победы над печенегами на месте битвы заложил храм — собор Святой Софии. Он был наименован так же, как и главный собор Константинополя, и в этом была своя политическая символика: Русь как бы подчеркивала свое государственное равенство с великой империей и одновременно свою религиозную и духовную преемственность по отношению к ней.