В начале своего правления Генрих II повелел изготовить печать-буллу по образцу последней буллы Карла Великого, с надписью по краю «Renovatio Regni Francorum» («обновление королевства франков»). Отказавшись от планов Оттона III установить мировое господство, Генрих ограничил себя реально достижимыми целями. Он усмирил подданных и соседей и объединил их ради создания истинной империи. В церковных мужах он нашел себе лучших помощников. С ними императора связывала и его высокая религиозная образованность. Бамбергская церковь, обязанная ему своим значением и своим богатством, причислила к лику святых в 1146 году Генриха, а в 1200 году — Кунигунду. Однако главные заботы Генриха предназначались империи, к служению которой он привлек епископов и аббатов. Своим могуществом на протяжении последующих десятилетий империя обязана его деяниям. Плоды предусмотрительности и упорства Генриха II достались уже его наследникам.

Со смертью Генриха династия Людольфингов пресеклась по мужской линии. Противостояние архиепископов Пильгрима Кёльнского и Арибо Майнцского, отчетливо проявившееся в последние годы жизни Генриха II, снова дало о себе знать при избрании нового короля: Арибо со своими епископами-суффраганами и герцог Генрих Баварский держали сторону Конрада Старшего, Пильгрим со своими суффраганами и оба лотарингских герцога выступили за младшего Конрада. Как и в 1002 году, эти двое были выбраны из многих претендентов. Оба были правнуками Оттона I через его дочь Лиутгарду и внука Оттона Каринтийского, что, хотя и доказывалось только саксонскими хронистами, даже не Випо, все же сыграло решающую роль при отборе именно этих кандидатов. Их высокородное происхождение давало им преимущество перед другими, не названными претендентами, «ex parte genitorum nobilissimi» («как благороднейшим по рождению»). На избирательном съезде в Камбе-на-Рейне 4 сентября 1024 года Арибо настоял на избрании старшего Конрада, к его мнению присоединилась большая часть духовных и светских князей. Большое число саксонских князей отсутствовало, а лотарингцы возвратились к себе, не подав голосов. Императрица Кунигунда, два месяца занимавшая вакантное место правителя, передала избранному имперские инсигнии. В силу этого Конрад еще до помазания и коронации 8 сентября 1024 года в Майнце вынес приговор по делу архиепископа Арибо. Тот удержал за собой преимущество над Кёльном, получив также пост канцлера по делам Италии. Младшему Конраду досталось богатое наследство его предков во Франконии. Старший Конрад родился, вероятно, в 990 году; он рано потерял отца и воспитывался Бурхардом Вормсским, не получив при этом ученого образования. Его канонически недопустимый брак с Гизелой Швабской был заключен вопреки желанию Генриха II, а в ходе прежних швабских междоусобиц он порой оказывался в изгнании.

Вскоре королю Конраду удалось привлечь на свою сторону духовенство Лотарингии. Архиепископ Пильгрим 21 сентября 1024 года короновал в Кёльне Гизелу, которой отказал в коронации Арибо. Церковное помазание и коронация в Майнце позволили Конраду последовать в Ахен для восшествия на трон Карла Великого. В Миндене саксонские князья, присягнувшие ему на верность в Рождество, получили подтверждение своих старых прав. После похода через Восточную Саксонию, Баварию, Восточную Франконию и Швабию к концу 1025 года объезд Конрадом империи был завершен. Ломбардские князья предложили французскому королю Роберту II, затем герцогу Вильгельму V Аквитанскому — для его сына, итальянскую королевскую корону и обещали в перспективе корону императорскую. Однако ломбардские прелаты во главе с архиепископом Арибертом Миланским присягнули в Констанце Конраду, и лотарингские князья в Рождество 1025 года подчинились германскому королю. Вильгельм покориться отказался. Заговор молодого герцога Эрнста Швабского, который, вероятно, претендовал на бургундское наследство, младшего Конрада, не чувствовавшего себя вознагражденным за свой отказ от престола, графа Вельфа и герцога Фридриха Лотарингского был сорван приведением к покорности Фридриха и Эрнста. После того как сын Конрада Генрих (родился в 1017 году) в феврале 1026 года с согласия князей был сделан наследником престола и регентство над ним в отсутствие короля было поручено воспитателю юного Генриха, епископу Бруно Аугсбургскому, Конрад отправился в Италию. Ломбардскую королевскую корону он получил в Милане, так как занять Павию, где после смерти Генриха II был разрушен королевский дворец, ему не удалось. Конрад пытался сломить сопротивление жителей Павии, разрушив укрепления, опустошив страну и запрудив Тессин. В Равенне тоже начались выступления против немецкого присутствия. Король дважды прошел через долину По и попытался созывом придворного и судебного советов восстановить порядок в стране. В конце концов Павия покорилась, и даже маркграфы Ломбардии и Тусции подчинились королю. Конрад старался привлечь на свою сторону светских князей иначе, чем Генрих, — их полным помилованием, хотя его грамоты также подтверждали и увеличивали имущественное достояние и права духовенства. Коронование Конрада императорской короной совершил в Риме 26 марта 1027 года папа Иоанн XIX, который, как и его предшественник, был возведен в папы прямо из мирян. На коронации присутствовали короли Кнут Датский, с которым Конрад заключил союз в 1025 году, и Родольф Бургундский, а также 70 прелатов из Германии и Италии и многочисленные князья. Из-за спора по поводу одной воловьей кожи, возникшего во время проведения коронации, дело дошло до кровопролитной схватки между немцами и римлянами. В Нижней Италии Конрад принял присягу князей Салерно, Беневента и Капуи. Последнюю, воспользовавшись помощью греков, снова занял Пандульф IV, который, однако, теперь не вмешивался в существующие порядки.

В отсутствие императора герцог Эрнст, граф Вельф и другие заговорщики напали на епископа Бруно Аугсбургского. Так как ленники герцога Эрнста отказались повиноваться ему в борьбе против императора, герцог и другие князья покорились Конраду. Они были взяты под стражу. Летом 1027 года в Базеле король Родольф, после того как императрица Гизела, его племянница, сумела преодолеть его первоначальное сопротивление императору, возобновил майнцский и страсбургский договоры с Конрадом II и его наследником Генрихом. С согласия князей в июле 1027 года Генриху как наследнику умершего без потомства герцога Генриха Люксембургского было пожаловано в лен герцогство Бавария (с 1029 года находившееся под опекой епископа Эгильберта Фрейзингенского). В пасхальное воскресенье 14 апреля 1028 года в Ахене состоялась королевская коронация Генриха Пильгримом Кёльнским, который добился от папы Льва IX утверждения за собой этого права. Так был разрешен вопрос о наследовании. Коронация Генриха стала апогеем этих первых успешных лет.

В 1025 году Болеслав Храбрый короновался в качестве короля, по словам Випо, «in iniuriam regis Chuonradi» («в нарушение прав короля Конрада»), но вскоре после этого умер. В том же году Конрад получил дань от славянских князей и позднее принял их посланцев с просьбой о помощи в борьбе против Мешко, сына и преемника Болеслава. Однако только в 1029 году он выступил из Лейцкау (юго-восточнее Магдебурга) против Мешко, который в предыдущем году опустошил Восточную Саксонию грабежами и жестокими убийствами. В болотистой местности императорская армия понесла большие потери, отказалась от осады Баутцена и безо всякого успеха вернулась назад. В 1028 году Конрад перенес сильно пострадавшее от военных набегов епископство Цейц обратно в Наумбург. Смерть маркграфа Восточной марки Титмара побудила Мешко снова напасть на территорию между Эльбой и Зале. Сопротивление ему оказал граф Дитрих Веттинский с небольшим отрядом. Магдебургский хронист упрекает герцогиню Матильду Верхнелотарингскую за ее восхваление набожного и ученого короля Мешко, что оказывается в странном противоречии с событиями. Когда брат Мешко с русской военной помощью стал оспаривать у него власть, это после двух походов Конрада 1031 и 1032 годов заставило польского короля просить императора о мире, который и был заключен в июле 1033 года в Мерзебурге. По мирному договору Мешко отказался от своих королевских регалий и смог сохранить за собой только часть Польши. После его смерти (в 1034 году) антигерманские и антихристианские настроения обратились против его супруги Рихенцы, внучки Оттона II, и ее окружения, так что она со своим сыном Казимиром бежала в Германию. Внутренняя борьба последующих лет расшатала державу Болеслава и ее христианскую культуру и освободила Конрада II от необходимости защищать свои восточные границы от опасного вассала.