Эти работы М. Я. Гинзбурга подготовили основу для организационного объединения части архитекторов-новаторов на теоретической платформе конструктивизма, что и произошло в середине 1920-х гг.
Теоретическая и педагогическая работа почти не оставляла времени для проектирования. Однако уже в эти годы Гинзбург принимал участие в архитектурной жизни не только как теоретик, но и как архитектор-практик. В своих проектах, как и в теоретических работах, он искал новые пути развития архитектуры, опираясь на достижения современной техники и промышленности.
Так, например, в одной из его первых работ того времени — конкурсном проекте Дворца труда (1922 г.) —заметно влияние архитектуры элеваторов, формы которых произвели на Гинзбурга большое впечатление своей новизной. В дальнейшем его поиски новых путей развития архитектуры приобрели иное направление. В 1925 г. М. Я. Гинзбург и братья Веснины организовали Общество современных архитекторов — ОСА, куда вошли такие архитекторы, как М. О. Барщ, А. К. Буров, В. Н. Владимиров, Г. Г. Вегман, И. А. Голосов, А. П. Иваницкий, И. И. Леонидов, Г. М. Орлов и другие.
Направление творчества архитекторов, объединенных в ОСА, известно в советской архитектуре под именем конструктивизма. Как руководители и лидеры конструктивизма братья Веснины и М. Я. Гинзбург удачно дополняли друг друга. Для творчества Весниных характерны новаторские поиски новых объемно-пространственных решений промышленных и общественных зданий, для М. Я. Гинзбурга — глубокая разработка теоретических и градостроительных проблем архитектуры, поиски новых типов жилища.
На страницах журнала «Современная архитектура» М. Я. Гинзбург поместил ряд теоретических статей. В отличие от работ первой половины 1920-х гг., посвященных в основном проблемам архитектурной композиции и стиля, в этих статьях главное внимание он уделяет социальным проблемам — новой организации быта, поискам новых типов зданий, вопросам внедрения типизации и индустриализации в строительство, выяснецию принципиального отличия советской архитектуры от архитектуры капиталистических стран и т. д.
В 1925—1928 гг. Гинзбург создал большое количество проектов, среди которых много конкурсных: Дом текстилей, Крытый рынок, Дом Оргаметалла, Дом Русгерторга, Дом Советов в Махачкале и др. Эти работы интересны как примеры поисков новых типов зданий, нового подхода к решению функциональных задач, применения современных конструкций и строительных материалов, использования новых средств художественной выразительности. Некоторые из этих проектов были осуществлены в натуре, как, например, Дом правительства в Алма-Ате. Однако наибольший интерес представляет работа М. Я. Гинзбурга в области жилищного строительства и градостроительства, которую он начинал в это время.
Социально-экономические задачи, выдвинутые партией и Советским правительством, требовали от архитекторов принципиально нового подхода к решению жилищной проблемы, поисков новых типов жилища, чтобы иметь возможность коренным образом улучшить условия жизни трудящихся.
Одним из первых зданий, с которых были начаты поиски новых типов рабочего жилища, был дом на Малой Бронной, 21, построенный в 1926 г. по проекту М. Я. Гинзбурга. В этом новом по внешнему облику пятиэтажном доме с лифтом были фактически впервые созданы экономичные двух-четырехкомнатные квартиры с современным уровнем благоустройства, которые явились прообразом для дальнейшего строительства квартир этого типа. Все квартиры дома имеют сквозное или угловое проветривание, оборудованы ваннами, газовыми шкафами, складной мебелью, мусоропроводом. На плоской крыше дома (с внутренними водостоками) устроен сад с цветником, в первом этаже— магазин, в подвале — прачечная и кладовые.
В 1926 г. журнал «Современная архитектура» объявил товарищеский конкурс на проект жилья нового типа. В созданном М. Я. Гинзбургом проекте дома-коммуны, как и в других подобных предложениях, предусматривалась организация быта жильцов в пределах одного здания наряду с сохранением индивидуальных квартир.
Позднее, анализируя проекты домов-коммун и отмечая их «абстрактную утопичность и ошибочную социальную сущность», М. Я. Гинзбург писал, что «эта первая постановка проблемы нового жилья, при всех своих ошибках и перегибах, подняла и разъяснила целый комплекс сложнейших вопросов, позволила на основе своего опыта уже решительно отбросить целый ряд ошибочных положений и тем самым облегчила дальнейшую работу по созданию новых типов жилья».
Большую роль в формировании творческих принципов Гинзбурга сыграла его пятилетняя работа (1928—1932 гг.) над проблемами массового жилища в государственных проектных органах (Стройкоме РСФСР, Госплане РСФСР и Гипрогоре РСФСР). Опыт этой работы, которая велась под руководством М. Я. Гинзбурга большим коллективом архитекторов, инженеров, экономистов и гигиенистов, был обобщен в сборнике «Типовые проекты, рекомендуемые к строительству на 1930 год» и подробно изложен М. Я. Гинзбургом в ряде статей и изданной в 1934 г. книге «Жилище». В этой книге он писал: «Во всех этапах нашей работы мы стремились ставить ее архитектурно, в том понимании этого слова, которое кажется нам наиболее правильным, т. е. взаимодействии социальных, технических и художественных проблем».
Работа над проблемой жилища включала в себя создание новых типов жилых домов, квартир и отдельных ячеек (в том числе двухэтажных), вопросы типизации и стандартизации жилищного строительства, использования новых материалов и индустриализации строительства, проблемы планировки жилых комплексов и районной планировки. Эта первая углубленная разработка проблемы жилищного строительства в советской архитектуре и до сих пор сохраняет свое практическое значение.
В ходе разработки нового типа жилья коллективом архитекторов под руководством М. Я. Гинзбурга были созданы экспериментальные проекты жилых домов так называемого переходного типа (то, что сейчас называется дома с обслуживанием).
Один из таких домов был построен в 1928—1929 гг. по проекту М. Я. Гинзбурга и И. Ф. Милиниса в Москве на бывшем Новинском бульваре (жилой дом Наркомфина, ул. Чайковского, 25а). По проекту предусматривалось создание единого комплекса, состоящего из четырех отдельных корпусов: жилого, коммунального, хозяйственного и детского сада. Проект осуществлен лишь частично: были возведены жилой, коммунальный и частично хозяйственный корпуса, но функции их были несколько изменены. Жилой корпус состоит из типовых ячеек-квартир, помещения которых расположены в разных уровнях и имеют внутренние лестницы. Он соединен переходом с отдельно стоящим коммунальным корпусом, где помещались кухня- столовая и детский сад. К домам переходного типа могут быть приравнены построенные в эти же годы по проектам Гинзбурга жилой комбинат в Свердловске и рабочее общежитие в Ростокине в Москве.
Значительный интерес для характеристики творчества М. Я. Гинзбурга представляет проект планировки и застройки Черниковского промышленного района близ Уфы — столицы Башкирской АССР. В проекте комплексно решались задачи размещения промышленности и жилья.
Много споров вызвал в свое время проект «Зеленый город», созданный М. Я. Гинзбургом совместно с архитектором М. О. Барщем. В этом во многом утопическом проекте проявилось увлечение Гинзбурга дезурбанистическими идеями. По проекту предполагалось создать в окрестностях Москвы обширный жилой район с группами домов, размещенными среди природы, вдоль шоссейных дорог.
В первой половине 1930-х гг. М. Я. Гинзбург во главе большого коллектива архитекторов разработал проект районной планировки Южного берега Крыма (Ялта — Мисхор — Алупка), явившийся одним из первых научно разработанных проектов подобного рода, оказавшим впоследствии значительное влияние на советское градостроительство. Десятилетняя работа в области жилищной архитектуры и районной планировки явилась важнейшим этапом в творчестве М. Я. Гинзбурга.
В 1930-х гг. М. Я. Гинзбург принимает активное участие во многих архитектурных конкурсах. Среди них проекты Дворца Советов, Театра имени Вл. И. Немировича-Данченко, жилого района Красный Камень в Нижнем Тагиле, парка на горе Давида в Тбилиси, парка культуры и отдыха в Москве, павильона на Всемирной парижской выставке и др. В ряде проектов (здания Наркомтяжпрома, «Известий») проявилась тенденция к преувеличенной монументальности, гигантомании, которая распространилась в те годы под влиянием конкурса на проект Дворца Советов.