В это же время выяснилось, что не только статуи у подъезда собора, но и у других портиков пришли в ветхость и требовали серьезной реставрации. И вновь чиновничья инициатива не о реставрации, а о снятии вообще всех статуй с Адмиралтейства была поддержана царем, который в апреле 1860 г. начертал свое решение: «Высочайше разрешено: все статуи снять, кроме находившихся у центральной части здания и около шпица и против фронтона Адмиралтейского собора. Вместо центральной статуи поставить Крест на шаре».

Скорбная для города утрата двадцати двух каменных изваяний, являвшихся неотъемлемой частью архитектуры фасада Адмиралтейства, не опечалила чиновничий мир Морского и Духовного департаментов. Наоборот, здесь удовлетворились той мелкой экономией, которая получилась от продажи за 24 рубля 35 коп. металлических креплений: скоб и пиронов, и пудожского камня — лома от разрушенных статуй. Так что первоначальный расход на уничтожение художественных уникальных произведений, выразившийся в 45 руб. 30 коп. был уменьшен более чем вдвое.

Захаров нарочно выбирал пудожский камень для скульптур, чтобы они дольше сохранились, но их безжалостно уничтожили спустя 50 лет после создания.

Следует вспомнить, что вопрос о фигурах на фасаде церкви, переведенной под крышу западного портика главного фасада, возник еще в последние годы строительства Адмиралтейства, в 1820 г. Тогда было вынесено решение Адмиралтейств-коллегии: «Наружный фасад Адмиралтейства украсить соответствующими церкви принадлежностями», а «те статуи, кои поставлены на фронтоне и у входа в двери, не могут уже иметь тут приличия».

Архитектор Гомзин, продолжавший после смерти Захарова достраивать Адмиралтейство, предложил остроумный выход из положения: вместо трех статуй весенних месяцев на фронтоне — марта, апреля и мая — он предложил возвести «точно в такую же меру стоячие же фигуры: Вера, Надежда и Любовь, а как Вера должна была быть изображена держащей в руках крест и должна поставиться на средине, т. е. на верхней оконечности фронтона, через каковой признак обозначится место, занимаемое церковью». Колоссальные фигуры Пименова — «Неву» и «Днепр» — Гомзин предлагал переделать «только с прибавкою к оным некоторой части пудожского камня для перемены некоторых частей и обнаженностей, так из мужской фигуры (Днепр) можно переделать изображающих святого Иону, и из женской (Нева) святую Марию Магдалину». Вместо барельефа во фронтоне, изображающего Фемиду, раздающую награды за мореплавание и морские военные подвиги, «создать новую композицию с изображением какого-либо сюжета из священной истории, или евангельского учения, или всевидящего ока, окруженного лучами и херувимами в облаках».

Конечно, решение Гомзина было тактичным, и если бы оно было тогда осуществлено или к нему вернулись бы спустя 40 лет, в 1859 г., то ценнейшие образцы русской скульптуры были бы сохранены.

Но история судила иначе.

Такова самая печальная страница в строительстве великолепного здания Петербурга — Адмиралтейства. И до сих пор историческую ошибку прошлого напоминают громадные гранитные устои у всех портиков и Невских павильонов, занятые грубыми якорями и немасштабно малыми пушками, а над треугольными фронтонами двенадцатиколонных портиков высятся пустующие пьедесталы, некогда поддерживавшие фигуры двенадцати месяцев года.

В конце 20-х гг. XIX в. в Управлении флотом произошла серьезная реорганизация. Были упразднена Адмиралтейств-коллегия и Государственный Адмиралтейский департамент, замененные Министерством военно-морских дел и целым разветвлением различных флотских учреждений.

В связи с этим левое крыло Адмиралтейства оказалось свободным от ранее занимавшей его Адмиралтейств-коллегии, и туда решено было перевести из дома на Мойке Рабочий флотский экипаж с кондукторскими ротами, превратившийся со временем в Высшее военно-морское инженерное училище имени Дзержинского.

Для размещения классов, спален, бытовых учреждений, шести кондукторских рот архитектор Анерт в 1827 г. создает проект преобразования бывших помещений Адмиралтейств-коллегий. Ему пришлось занять не только оба этажа, но и использовать темные помещения третьего этажа, находившиеся за гигантским лепным фризом, тянувшимся между башней и портиком левого крыла главного фасада и фасада против памятника Петру I. Анерт решается осветить эти помещения за счет уничтожения лепного фриза, на месте которого проектирует почти квадратные окна, по пропорциям такие же, как и те, которые были запроектированы Захаровым в частях здания с тремя этажами. Проект изменения фасадов исполняет архитектор А. Е. Штауберг, который украшает окна кирасирскими касками двух вариантов. Проект утверждается Николаем I и приводится в исполнение в следующем же году.

Идея превращения темных больших кладовых в светлые помещения была распространена и на правое крыло и даже коснулась парадных помещений музея, расположенных по второму этажу от башни на восток до первого шестиколонного портика. Эти помещения были перекрыты каменным цилиндрическим сводом, занимавшим высоту третьего этажа. Своды уничтожаются, и над залами устраиваются, как и в других парадных частях здания, плоские междуэтажные перекрытия.

В 1828 г. Гомзин перестраивает в павильонах изящную подкупольную галлерею над входом канала в адмиралтейский двор, он возводит перекрытие потолка второго этажа на уровне балюстрады. Так возникли два круглых купольных зала под дельфинами, возносящими флагштоки.

В 1831 г. по проекту Анерта устанавливается решетка, отделяющая территорию Адмиралтейства от набережных, позднее уничтоженная при прокладке новой Адмиралтейской набережной.

К 1860-м гг. Адмиралтейство почти полностью теряет роль судостроительной верфи. К этому времени в конце Английской набережной, почти у выхода Невы в залив, все больше развивается Новое Адмиралтейство, место которого оказалось более удобным для постройки больших судов новейшей конструкции.

В связи с этим встал вопрос об использовании заброшенного участка бывших верфей во дворе Адмиралтейства. Был предложен ряд проектов застройки двора и открытия набережной от Дворцовой до Петровской (Декабристов) площадей мимо павильонов Адмиралтейства.

В 1871 г. морской министр Краббе принял решение: пустырь между павильонами Адмиралтейства разбить на семь участков и продать под частную застройку. Целесообразность устройства набережной, конечно, была очевидной, но принцип ее застройки был ошибочен. Ошибался и журнал «Зодчий», который в 1872 г. писал о будущей новой набережной: «Мы слышали, что к работам набережной предполагают приступить непременно в нынешнем еще году. Место застроится, вероятно, прекрасными домами взамен ныне существующих безобразных сараев, и Петербург с прекрасной Невой значительно выиграет в отношении красоты».

Каналы во дворе были засыпаны, и Русское строительное общество в 1873 г. приступило к устройству Набережной, которая была открыта в ноябре 1874 г.. Дома на набережной начали возводить с 1880 г.

С легкой руки Александра II, одобрившего первый проект княжеского дворца надписью: «согласен и могу указать, как на пример хорошего вкуса»,  начали строить особняки и казенные пятиэтажные безвкусные и бесстильные громады, которые в купеческом соревновании мешали друг другу и были готовы задавить чудесные павильоны Адмиралтейства.

Здание Адмиралтейства обращено к городу через его основные магистрали как символ моря — «окна в Европу». Оно обращено другой своей стороной к широкой водной глади как символ власти города над водой, над морем. В этом главная идея его, и она была разрушена Александром II, поощрившим застройку Набережной. Адмиралтейская башня оказалась отгороженной от водной стихии.

Случайно проложенные узкие, как щели, переулочки от Набережной — Азовский, Черноморский и Керченский — не спасали положения, они лишь убеждали в нелепости безвкусных и бесстильных домов, укравших Адмиралтейство у Невы.

Сквер, позднее устроенный на набережной, мало улучшил картину. В сквере на осях павильонов в 1905 г. были поставлены две скульптурные группы Бернштамма, изображающие Петра I мастеровым за постройкой судна. Позже их сняли.