Проект, несмотря на очевидные значительные затраты, нужные для его реализации, был утвержден Александром I, и в мае 1806 г. на Адмиралтейском дворе вновь началась строительная суета.

О своем проекте Захаров писал:

«Составляя сей проект, первым правилом постовлял соблюсти сколь возможно выгоды казны, то и побудило меня старые стены и фундаменты не расстроивать ломкою, почему и прибавлено новых стен весьма мало, как ясно видно из всего описания:

1. Ворота под спицею подняты выше, для укрепления стен оных прибавлен фундамент, дабы укрепление под спицею было тверже через соединение новых стен со старыми. Спиц самый, не расстраивая ни мало его связи, удержит настоящую свою фигуру; но фонарь, равно как все прочее строение, находящееся ниже спица, получит совсем другой вид. Церковь остается на прежнем своем месте.

2. По обеим сторонам сих главных ворот под спицею сделаны большие лестницы, ведущие в общий внутренний коридор, в арсеналы для хранения адмиралтейских сокровищ, моделей и редкостей. За сими лестницами по сторонам помещены две гауптвахты, одна с арестантской для караула общего, а другая для артиллерийского, при которой находится большая кладовая для денежной казны.

3. По концам Главного фасада к императорскому дворцу и к монументу Петра I сделаны большие выступы в 3 этажа с подъездами и большими парадными лестницами, в средний этаж ведущими. Первый корпус, что к Императорскому дворцу определяется для присутствия Адмиралтейского Департамента с его библиотекою, музеумом и прочими к нему принадлежностями, второй, что к монументу Петра I для присутствия Адмиралтейств-коллегий с прочими ее отделениями.

4. На Неву реку по обоим сего здания концам шлюпочные сараи соединены с наружными флигелями чрез продолжение оных до берега в один корпус, в середине коего сделаны над внутренним каналом большие ворота для впуску к магазинам барок. Над сими воротами поставятся павильоны, вместо тех, кои ныне находятся на бастионах.

5. Весь нижний этаж под всем зданием и в некоторых местах в среднем этаже займут кладовыми, в нижнем же этаже корпуса к монументу подле павильона сделана большая кузница.

Все сии комнаты, магазины и кладовые для безопасности от огня будут ее сводами».

Последовательность работ предполагалась Захаровым такая: сперва строится корпус перед Зимним дворцом, затем крыло главного корпуса до башни, третья очередь — башня с примыкающими лестницами и далее в той же последовательности.

Смета определяла стоимость осуществления проекта в 654.232 рубля, а «если же сделать колонны, карнизы и прочие украшения из пудожского камня, то еще нужно прибавить 110.000 рублей».

Фактически постройка обошлась в сумму около 2,5 миллионов рублей.

Всю постройку предполагалось основном закончить в три года  в действительности строительство сильно растянулось. Здание полностью было закончено лишь в 1820 г., а отделано в 1823 г.

Проследим вкратце ход строительства из года в год.

1806 г. Начато строительство восточного корпуса перед Зимним дворцом. К осени выведена часть его стен.

1807 г. Восточный корпус подведен под крышу. Приступили к изготовлению деталей украшения фасада.

1808 г. Переделка того же строящегося корпуса в связи с указанием Александра I о сокращении его длины. Перепланировка и переделка первого этажа старого корпуса. Со стороны Сената начата штукатурка внутри здания.

1809 г. Начаты работы по восточному крылу главного корпуса и перестройке башни. Строится Невский павильон со стороны Зимнего дворца. Ведутся работы по отделке фасадов и внутренних помещений восточного корпуса.

1810 г. Начаты живописные работы в помещениях корпуса перед Зимним дворцом. Приступили к реконструкции нижней части башни. В мае Адмиралтейский департамент переехал в новое здание.

1811 г. Заканчивается отделка фасада перед дворцом и Невского павильона до флагштока включительно. Развертываются работы по внутреннему флигелю против Сената.

Выносится высочайшее решение об уничтожении наружного Адмиралтейского канала и подъемных мостов и устройстве бульваров.

27 августа умирает А. Д. Захаров.

1812 г. Императорским указом от 3 апреля все постройки начатых зданий, в том числе и Адмиралтейства, прекращаются, но продолжается установка скульптурных украшений на башне, фронтонах и над окнами первого и второго этажей.

1813 г. Готовы эскизы фигур для вестибюля и скульптурных групп «нимф».

1814 г. Вновь развернуты строительные работы. Возводятся корпус перед Сенатом и Невский павильон. Исполнены модели больших фигур и установлены фигуры на фронтоне перед Сенатом.

1815 г. В основном закончены главнейшие трудоемкие работы, в том числе и на башне. К осени готовы башенные часы и закончены статуи Рек и Стран Света.

1816 г. Оканчивается засыпка наружного канала. Ведутся штукатурные фасадные работы и достраивается корпус перед Сенатом.

1817 г. Идут лепные работы внутри всех парадных помещений и заканчиваются штукатурные работы по фасадам.

1818 г. Установлены скульптуры в главном вестибюле.

1819-1820 гг. Окончание штукатурки внутри и лепных украшений снаружи. Разбит бульвар перед Адмиралтейством, установлены каменные скульптуры у Невских павильонов.

1821 г. Приспосабливается помещение под временно перенесенную в Адмиралтейство церковь Исаакия Далматского. Ведутся соответствующие строительные работы.

1822 г. Закончено оформление церкви в связи с решением о постоянном ее местопребывании в Адмиралтействе.

Из приведенного дневника хода строительства можно установить, что здание по существу было полностью закончено в 1820 г., т. е. строилось 14 лет с двухлетним перерывом в 1812—1813 гг. из-за Отечественной войны.

Рапорты и требования Захарова очень медленно продвигались строительной экспедицией, недоставало порой рабочих, из-за задержки возникали конфликты с подрядчиками и т. д.

Задерживало постройку и вмешательство Александра I. В 1808 г. корпус Адмиралтейства перед Зимним дворцом вчерне был готов и стоял весь в лесах. Неожиданно Захаров получает высочайшее предписание, что Александр I недоволен тем, что корпус Адмиралтейства слишком близко подходит к реке и «отнимает вид из собственных его комнат на Галерную гавань и устье Невы». И далее повелением предлагается «отступить строением в такой пропорции, чтобы оное не отнимало упомянутых видов».

В то время, когда проекты и сама возведенная по нему постройка были основаны на определенной архитектурной гармонии и равновесии отдельных частей, такое предписание, естественно, очень огорчает Захарова. Но он терпеливо сносит это вмешательство, тут же переделывает проект, укорачивая корпус здания на 18 метров, и приступает к слому части постройки.

Опасаясь кривотолков и осуждения общественным мнением, Захаров просит морского министра П. В. Чичагова «оправдать его в виду могущего возникнуть в публике противного мнения, что Государь или недоволен прежним утвержденным проектом, или же строение в прочности его подало какое-либо сомнение».

К счастью, авторитет Захарова не был поколеблен.

Захаров предполагал здание Адмиралтейства окружить наружным каналом с бастионами и пушками на них, гранитными берегами и «богато убранной решеткой».

Канал оставался до 1811 г., потом Александр I решил снести бастионы и их землей засыпать наружные каналы, на месте которых разбить бульвары в виде длинных аллей у самых стен строящегося Адмиралтейства. Как все получилось, можно прочитать газета «Северная пчела» за 1857 г.:

«Этот открытый просторный бульвар сделался любимым гульбищем публики. Каждый день в хорошую погоду толпились на нем тысячи гуляющих. Это продолжалось до 1817 г.; тогда засыпан был широкий ров Адмиралтейства, снесены валы, и бульвар придвинут к самому зданию Адмиралтейства, потерявшего от этого последний признак укрепленного места. Эта перемена послужила к большому украшению города: площади Петровская, Адмиралтейская и Дворцовая слились в одну, единственную в своем роде».