Особые трудности представляла нехватка строительных материалов, в частности кирпича и черепицы, которую архитекторы предпочитали остальным видам кровельных покрытий. Несмотря на растущий спрос, число кирпичных заводов сокращалось. Если в 1753 году их насчитывалось в Москве семьдесят три, то в 1760-м тридцать семь, а в 1774-м и вовсе тридцать, вырабатывавших в год около 30 миллионов штук кирпича. Любопытно, что больше половины из них располагались за Калужскими воротами, пять за Пречистенскими. Отдельные администраторы тех лет объясняли подобное сокращение попыткой государства подчинить кирпичное производство своим планам и установить контроль цен. Существенной помощью в этом трудном для Москвы положении становится разборка стен Белого города, материал которых идет на строительство казенных зданий, в том числе Воспитательного дома (ныне Военная академия им. Ф. Э. Дзержинского), ремонт Арсенала Кремля. Пользуется этим материалом для своего дома и З. Г. Чернышев.

Со смертью З. Г. Чернышева в 1784 году его дом был приобретен казной и стал использоваться как казенная квартира генерал-губернаторов. В «Плане столичного города Москвы», составленном Марченковым и изданном Кольчугиным в 1789 году, он так и значится под номером 75 как «Дом главнокомандующих».

В 1790 году очередной московский главнокомандующий генерал-фельдмаршал А. А. Прозоровский получает разрешение на разбивку перед домом площадки для установления на ней «щита» – флага, около которого предполагалось производить несколько раз в день церемонию смены воинского караула. Соответственно, был приобретен казной и снесен лежавший по другую сторону улицы двор Долгоруковых. Образовавшийся плац получил название Тверской площади, ранее применявшееся к Триумфальной площади. Проект архитектурного оформления новой площади принадлежал М. Ф. Казакову, но остался неосуществленным из-за финансовых затруднений, которые переживало русское государство в связи с турецкой войной.

Усилиями А. А. Прозоровского, способного военачальника, участвовавшего в присоединении к России Крыма, а с 1808 года состоявшего главнокомандующим русской армией, действовавшей против турок, предпринимается строительство набережной Москвы-реки от устья Неглинной до устья Яузы, иначе говоря, от Каменного до Устьинского моста, причем вдоль кремлевской стены высаживаются два ряда деревьев, начинается сооружение огромного Гостиного двора в Китай-городе между Ильинкой и Варваркой.

В момент вступления в Москву наполеоновских войск дом генерал-губернатора оказывается одним из очагов сопротивления захватчикам. В его дворе французская часть была встречена стрельбой укрывшихся там дюжих молодцов, вооруженных ружьями и кольями, как вспоминал впоследствии один из наполеоновских солдат. Пожар 1812 года не затронул дома. По словам современника, «Тверская от Тверских ворот до дома Главнокомандующего по обеим сторонам вся цела, а потом... до Моховой вся выгорела по обеим сторонам». Зато отстраивалась улица на редкость быстро. Созданная в целях организованного восстановления города Комиссия для строений, предложившая перепланировку многих московских площадей, Тверскую решила оставить нетронутой. Через двадцать с небольшим лет писатель П. Ф. Вистенгоф сможет с полным основанием сказать: «Тверская – главная московская улица, идущая от Петербургской заставы к Тверским воротам (Китай-города); здесь находятся лучшие гостиницы для приезжающих, магазины, кондитерские лавки, множество красиво отстроенных домов и дом московского военного генерал-губернатора... Вот места, где наиболее проявляется народное движение».

Значение Дома главнокомандующих в культурной жизни города менялось в зависимости от тех, кто его занимал. Не установлено, бывал ли в нем А. С. Пушкин, но многие литераторы и музыканты стали частыми гостями любимого москвичами Д. В. Голицына, занимавшего генерал-губернаторскую должность в течение 1820–1844 годов. Внучатый племянник З. Г. Чернышева, герой Отечественной войны 1812 года, прославившийся блестящим участием в Бородинском сражении, Д. В. Голицын был известен и своей невольной связью с пушкинской «Пиковой дамой». Его мать стала для поэта прообразом старой графини.

Белый (танцевальный) зал. 1890-е гг.

Нередко в доме на Тверской отмечались различные события общественного значения, например в 1856 году, когда Москва торжественно принимала героев Севастополя. Членам флотских экипажей были посвящены прозвучавшие в его стенах строки Евдокии Растопчиной:

В то время как самый Дом главнокомандующих оставался в общем без изменений, его окружение значительно менялось. На противоположной стороне площади в первой половине XIX века вырастает здание так называемой Тверской части – полицейского участка с высокой пожарной каланчой и гауптвахтой, служившей местом заключения. В этой временной тюрьме провел несколько месяцев выдающийся русский драматург А. В. Сухово-Кобылин, несправедливо обвинявшийся в убийстве своей гражданской жены француженки Луизы Симон-Диманш. По собственному признанию драматурга, здесь он "написал лучшие сцены «Кречинского». Еще раньше целый год томился в подземной тюрьме Тверской части, там, где сегодня стоит памятник Юрию Долгорукому, великолепный русский композитор Александр Алябьев.

Одним из своеобразных культурных гнезд старой столицы становится многократно достраиваемый и надстраиваемый дом Черткова, превращенный в дальнейшем в гостиницу «Дрезден» (Скобелевская площадь, 2/6). В «Дрездене» бывал окончательно приехавший в Москву осенью 1848 года Н. В. Гоголь, останавливались И. С. Тургенев, Л. Н. Толстой, Н. А. Некрасов, А. Н. Островский, А. П. Чехов, композитор Р. Шуман и его жена, известная пианистка Клара Шуман, давшая в Москве несколько концертов. «Каждое посещение Кремля, – вспоминала пианистка, – вдохновляло Роберта, возбуждало его творческое воображение... Все интересовало нас в Москве, потому что все здесь совершенно своеобразно. Москва – единственный в своем роде город, во всей Европе нет ничего подобного».

Домовая церковь. 1900-е гг.

В мае 1861 года, когда Россия торжественно отмечала 50-летие профессиональной деятельности замечательного хирурга Н. И. Пирогова, Пирогов жил в «Дрездене» и принимал многочисленные делегации и приветствия. В эти дни он был избран почетным гражданином Москвы. В «Дрездене» была последняя квартира художника В. И. Сурикова, который здесь и умер в 1916 году. К этому времени Тверская площадь получила новое название – Скобелевской, по установленному на ней в 1912 году памятнику генералу Скобелеву.

Совершенно особое значение приобретают Дом главнокомандующих и Тверская площадь в политических событиях предреволюционных лет. Еще в 1861 году перед домом происходит первое столкновение студентов с полицией. 17 октября 1905 года огромная демонстрация с красными флагами требовала здесь немедленного освобождения политических заключенных. В марте 1917-го дом заняли рабочие и часть помещений отошла под Московский совет. Кстати, с июля того же года в «Дрездене» разместился Московский комитет РСДРП(б) и его Военное бюро. Здесь в ночь на 25 октября на заседании МК РСДРП(б) было принято решение о создании партийного центра руководства восстанием.

В течение весны – осени 1917 года на Тверской-Скобелевской площади проходят массовые политические демонстрации под большевистскими лозунгами: «Долой империалистическую войну!», «Вся власть Советам!». Осенью был избран и разместился в Доме главнокомандующих Центральный штаб Красной гвардии.