Еще более крупный проект Иван Иванович осуществил в самом центре Москвы. Северное страховое общество решило построить комплекс доходных зданий конторского и торгово-складского назначения. На объявленный Московским архитектурным обществом конкурс было подано двадцать два проекта. Весной 1909 года жюри присудило одну из двух первых премий авторам проекта под девизом «Центр» – петербургскому архитектору М. Перетятковичу и Рербергу.

Решая задачу сочетания новых, отвечающих эстетическим требованиям начала XX века зданий с сооружениями прошлого, авторы акцентировали торцы зданий, выходящие на Ильинку, высокой башней с куполом-ротондой. Был удачно использован весь участок, предусмотрен удобный внутриквартальный проезд между пятиэтажными корпусами, соединенными переходом на уровне четвертого и пятого этажей. В процессе подготовки и осуществления строительства, в котором принимал участие архитектор В. Олтаржевский, Рерберг значительно доработал проект с целью достижения большей четкости и отточенности архитектурного облика в формах нового для того времени стиля – неоклассицизма, на который он возлагал большие надежды. Ритм крупных оконных проемов определил характер фасадов.

Существенная роль в их формировании принадлежит отдельным деталям и лепным украшениям. Это была одна из типичных попыток сочетать приемы проектирования, характерные для начала XX века, с архитектурными формами первой трети 19-го столетия, свободно их видоизменяя.

Строительство зданий было завершено в 1911 году. Куранты на башне были хорошо видны над уступом башни Ильинских ворот со стороны площади и сквера. Как отмечалось в издававшемся тогда ежегоднике «Архитектурная Москва», «по монументальности и красоте это одно из лучших произведений современной московской архитектуры».

В формах русского ампира, характерных для пушкинского времени, Рерберг разработал и осуществил по заказу Общества поощрения трудолюбия проект здания женской гимназии. Пропорции и детали фасада, интерьеры здания, возведенного в 1911—1912 годах в Большом Казенном переулке, отличаются изяществом.

Из других построек Рерберга этого времени следует отметить красивый особняк Урусова на Новокузнецкой улице, торговый пассаж, существовавший на месте нового здания ЦУМа, двухэтажное здание Московско-Брестского технического железнодорожного училища возле Белорусского вокзала, трехэтажное здание ремесленного училища на Первой Миусской улице, инфекционные корпуса Московского военного госпиталя в Лефортово.

Ежегодник «Архитектурная Москва» писал в 1911 году:

«Иван Иванович Рерберг принадлежит к группе сравнительно молодых, но очень популярных строителей». Начиная с 1910 года на всех проектах подпись Рерберга была первой, что соответствует его ведущей творческой роли среди соавторов. В отличие от гражданских инженеров, именовавшихся также инженерами-архитекторами, Иван Иванович несравненно глубже изучил строительные конструкции и особенности их создания, а также лучше ориентировался в технике строительного производства. Поэтому он смело применял железобетон и другие современные материалы, умело используя заложенные в них потенциальные возможности архитектурного формообразования.

В творчестве Рерберга всегда особо отмечали четкость и глубину проработки объемно-планировочных решений, умение вписаться в городской ансамбль. Эпоха, породившая разброд в архитектурно-стилевых вопросах, наложила отпечаток на творчество талантливого мастера, хотя он и сумел оградить себя от крайностей и бесплодных творческих увлечений, но его поиски в основном связаны с развитием неоклассицизма.

В самом начале века Иван Иванович жил на казенной квартире в Лефортово, затем вблизи Разгуляя, некоторое время в доме № 6 по Доброслободскому переулку и около двадцати лет занимал часть двухэтажного особняка в Денисовском переулке. Здесь он создавал проекты, активно пополнял свою библиотеку, свободные часы отдавал акварельной живописи, а летом жил на даче в Болшево, где сочетал отдых с напряженной работой.

С 1906 года Рерберг в течение тринадцати лет преподавал в Училище живописи, ваяния и зодчества и в Московском инженерном училище. Он выступил инициатором обучения женщин на архитектурных курсах, учредителем и преподавателем которых был долгое время.

После того как Рерберг принял участие в работах по перестройке старого здания на Чистопрудном бульваре для Правления Московско-Киевско-Воронежской железной дороги, он получил заказ на проектирование и строительство грандиозного Брянского вокзала (с 1934 года – Киевский) на месте существовавшего деревянного.

При разработке проекта, осуществленного при участии архитектора Олтаржевского, были использованы достижения мирового архитектурного опыта и практики применения большепролетных арочных покрытий над платформами. Основу творческих поисков определило расположение вокзала вблизи Москвы-реки и оживленной радиальной городской магистрали, проходящей через Бородинский мост. Мост, построенный за год до рождения Ивана Ивановича по проекту его отца, в 1912—1913 годах, перед постройкой вокзала, был заменен современным.

Творческий процесс формирования облика вокзала был подобен отработке архитектурных форм комплекса Северного страхового общества. Неоднократно дорабатывался главный фасад с колоннадой на уровне высокого второго яруса, приобрели большее изящество фланкирующие его порталы-крыльца, башня высотой пятьдесят один метр была вынесена за пределы фасада, а ее первоначальные архитектурные формы переработаны.

Наружный контур всего здания достигает почти девятисот метров. Залы ожидания просторны и имеют большую высоту, площадь самого большого из них – центрального более девятисот квадратных метров. Позади залов ожидания было четыре подъездных пути под стеклянным ангароподобным покрытием-дебаркадером. В качестве конструктивной основы этого покрытия Рерберг предусмотрел арки из крупных ажурных металлических элементов, попарно соединенных в верхней части. Их конструирование, изготовление и установку взяла на себя специализированная фирма, главный инженер которой, выдающийся конструктор-механик В.Г. Шухов, не меняя принципиально конструкцию, рационализировал ее, что упростило изготовление и сократило стоимость. Шухова признают не только исполнителем, но и автором этого уникального покрытия.

Летом 1914 года состоялась церемония закладки здания. Основные работы были завершены в 1917 году. В 1920 году Рерберг провел дополнительные работы на Киевском вокзале, главным образом отделочные. Иван Иванович намечал создание большой площади, связывающей вокзал с городом. Современную площадь Киевского вокзала можно рассматривать как воплощение замыслов Рерберга.

В начале 1920-х годов Моссовет передал Киевскому вокзалу стоящее вблизи четырехэтажное жилое здание. Иван Иванович перестроил его под железнодорожный привокзальный клуб, вскоре преобразованный в клуб имени Горбунова.

В годы Гражданской войны строительная деятельность в Москве была весьма ограниченной, а первые организационные шаги в этом направлении носили специфический характер. Рерберг вставлял технический отдел Особого комитета по строительству Москвы. Этот комитет сочетал организационно-техническую деятельность с производственной и проектной.

Рерберг строит деревянный павильон Хлебопродукта на Всероссийской сельскохозяйственной и кустарно-промышленной выставке 1923 года. Более крупным заказом было проектирование и руководство надстройкой двумя этажами большого трехэтажного конторского здания Варваринского акционерного общества на Мясницкой, возведенного в девяностых годах XIX века, а также проектирование и строительство новых корпусов во дворе. Здесь разместился созданный после Гражданской войны Нефтяной синдикат СССР.

В облике надстроенных этажей видны характерные черты творческого почерка Рерберга: при скупом использовании простых архитектурных деталей и отдельных лепных украшений достигнута необходимая увязка новой части фасада со старой, в равной степени отвечающей деловому назначению здания.