Жолтовский оказался словно на распутье. В 1926—1927 годах он сделал три проекта, которые свидетельствуют о сложных творческих исканиях мастера. Речь идет о здании Госбанка на Неглинной, о котельной МОГЭСа на Раушской набережной и о Доме Советов в Махачкале. Эти сооружения позволяют говорить о том, что мастер пробовал свои силы в разных творческих направлениях. Особенно интересен в этой связи Госбанк.

В здании банка зодчий органично соединил внешне, казалось бы, совершенно несовместимые и, строго говоря, в рамки одной стилистической традиции не укладывающиеся решения: классически выверенный каменный ордерный фасад, выходящий на Неглинную, и громадный стеклянный витраж, «упакованный» в сетку сот металлического каркаса на фасаде явно делового, утилитарного здания, каким выглядит банк со стороны переулка. Таким образом, художественно-образное решение, соответствующее объемно-пространственной композиции, способствует созданию представления о гармонично сосуществующих двух зданиях, объединенных общей функцией.

В здании котельной МОГЭСа Жолтовский еще дальше продвинулся по пути художественного освоения новых архитектурных форм. Он вовсе отказался от ордерной системы и ренессансного декора, однако сохранил принципы гармонизации, присущие классической архитектуре. Впервые в своей практике, столкнувшись с новыми для классической традиции материалами – металлом и стеклом, он нашел им принципиально новое применение. Сплошь стеклянная стена фасада решена группами сильно выступающих вперед граненых эркеров и воспринимается не как ограждающая плоскость, инертная «выгородка» в пространстве, а как упругая оболочка, самостоятельно формирующая облик сооружения.

В 1931 году Жолтовский по приглашению организаторов участвовал во Всесоюзном конкурсе на проект Дворца Советов. Несмотря на обвинения в ретроспективизме, высказываемые в печати, проект Жолтовского был настолько убедительным, что удостоился одной из трех высших премий, наряду с Б. Иофаном и американским архитектором Г. Гамильтоном. Более того, несомненно, его проект был одним из тех, который повлиял на формулирование дальнейших задач проектирования Дворца.

С именем Жолтовского в первую очередь связывается установка на «историзм» как методологическую основу архитектурного творчества, ему приписывается едва ли не решающая роль в той творческой перестройке, которую претерпела советская архитектура в начале 1930-х годов, и в которой по сложившейся традиции значительное место отводится конкурсу на Дворец Советов.

И все-таки предпочтение было отдано не проекту Жолтовского, а проекту Дворца Иофана.

В 1932 году Жолтовскому было присвоено звание заслуженного деятеля науки и искусства РСФСР. В это время зодчий был занят проектированием и строительством жилого дома на Моховой. Это сооружение вызвало массу откликов в печати. Его то называли гвоздем майской архитектурной выставки 1934 года, то хвалили, то ругали, то называли образцом, то чуть ли не требовали снести. Вот что писал Щусев: «Дом, построенный Жолтовским на Моховой, называют гвоздем выставки и сезона и сравнивают его красоту с красотой павловского гренадера, который ходит в кирасе по улицам современной Москвы. Дом Жолтовского будто бы является сколком архитектуры XVI века, хотя следовало бы знать, что в XVI веке была принята иная система конструкции для сооружения зданий. Конструкция дома Жолтовского ближе к современной. Большие стеклянные поверхности и колонны, которые поддерживают стены здания, делают дом современным. Научная критика должна отметить, что Жолтовским применена современная, а не архаическая конструкция дома…

Это – архитектурная работа, которая подобна написанию в музыке специального этюда на ту или иную тему… Жолтовский когда-то мне говорил: «Я выступаю с классикой на Моховой, и если провалюсь, то провалю принципы классики»… Я считаю, что даже в Европе трудно найти мастера, который так тонко понял бы классику. Эта постройка является большим завоеванием современной архитектуры».

Обаяние облика дома на Моховой с его тщательно прорисованными и не менее тщательно выполненными деталями, его монументальность, так отвечавшая веяниям времени, и в то же время пластическое богатство фасадов стали примером для подражания. Нельзя не отметить и еще одну особенность – кажущуюся для непосвященного легкость удачи, легкость открытия новых путей в архитектуре. Многим казалось, что достаточно изучить классические образцы для того, чтобы раскрылись тайны создания истинных произведений архитектуры. Интересно в связи с этим привести высказывание одного из учеников Жолтовского: «Конечно, такой дом мог построить только один Иван Владиславович Жолтовский. Даже мы, его ближайшие ученики, не в силах такой вещи одолеть».

В 1933 году были созданы архитектурно-планировочные мастерские Моссовета. Жолтовский возглавил мастерскую № 1, которая строила свою работу «на базе глубокого изучения культурного наследия – лучших образцов классической архитектуры, критически их осваивая и стремясь к максимальному повышению общего культурного уровня и уровня работ мастерской». Эти слова на долгие годы определили творческую направленность работы как самого Жолтовского, так и его школы.

Середина и конец 1930-х годов были очень плодотворны для зодчего. Он создал ряд проектов для Сочи, разрабатывал проекты Института мировой литературы имени А.М. Горького в Москве, театра в Таганроге и т д.

Важным для творчества мастера явилось проектирование в 1940 году, а спустя несколько лет строительство жилых домов на Смоленской площади и на Большой Калужской улице в Москве. В основу обоих домов, строившихся почти одновременно в конце 1940-х годов, была положена одна и та же секция шириной 18, 5 метров с двух-трехкомнатными квартирами для посемейного заселения, что особо подчеркивалось архитектором.

На рубеже 1940—1950-х годов внутри архитектурной профессии и вне ее начали вызревать предпосылки для серьезной творческой перестройки. Появление крупнопанельных конструкций не только означало коренную ломку буквально всех устоявшихся представлений о строительстве, но и требовало от архитектора их профессионального осмысления. В цепи событий, связанных с этим процессом, немаловажным был конкурс на крупнопанельные жилые дома, проведенный в 1952—1953 годах. Мастерская-школа Жолтовского представила на конкурс шесть проектов крупнопанельных жилых домов различной этажности и конфигурации.

Характерной особенностью проектов явилось сосредоточение всех нестандартных элементов в нижнем и верхнем ярусах зданий, а также – что главное – в примененных здесь впервые открытых стыках панелей. Поясняя свое решение, Жолтовский писал: «Очень важен вопрос о стыке стеновых панелей. Некоторые архитекторы эту проблему ненужно усложняют. Боязнь открытого стыка заставляет их вводить лишние детали, маскирующие стыки между панелями. Эти накладные элементы, совершенно ненужные конструктивно, ведут к неоправданной затрате материалов, ограничивают художественные возможности архитектуры Стеновые панели высотой в этаж помогут создать новый масштаб дома, созвучный грандиозному размаху нашего строительства».

Жолтовский не только теоретически обосновал возможность и необходимость открытого стыка, но и практически доказал его жизнеспособность при строительстве в 1953 году (совместно с инженером В. Сафоновым) здания автоматического холодильника в Сокольниках.

Столкнувшись с необходимостью решать принципиально новые задачи, вызванные применением новых, современных материалов (стекла, стали, железобетона), Жолтовский предложил принципиально новое их решение.

«Метод логической тектоники», рожденный в рамках одной стилистической традиции, позволил мастеру «освободиться» от нее и добиться существенных новаций в рамках нового, отвергающего традиционализм стилистического направления.

Умер Жолтовский 16 июля 1959 года.