Свежеотделанное здание Оружейной палаты было закончено как раз к нашествию Наполеона. Древние раритеты уже были упакованы в ящики для перевозки в новое здание, что их и спасло, поскольку позволило быстро вывезти из Москвы. Ехали сокровища в старинных каретах из дворцовых колымажных сараев — потому и кареты уцелели и вошли потом в экспозицию Оружейной палаты. При вступлении французов в город несколько москвичей, обстрелявших неприятельский авангард у Троицких ворот Кремля, были разоружены и посажены под арест в Оружейную палату. Разрушена она в 1812 году не была.

А после возвращения кремлевских сокровищ из эвакуации в 1813 году началось создание музея. В 1814 году Оружейная палата (другое название тех лет — Дворцовый Императорский музей) наконец разместилась в новом здании.

Главноначальствующим Мастерской и Оружейной палатой был сенатор, князь Николай Борисович Юсупов, адресат стихотворения Пушкина «К вельможе». Он и создавал первую экспозицию, был автором плана размещения сокровищ в палате. Стены украшали композиции из холодного и огнестрельного оружия. Арочные переходы из зала в зал обрамляли старинные знамена. Скульптору И. П. Витали были заказаны фигуры воинов для показа старинных доспехов.

В 1827 году Юсупов распорядился открывать палату для посетителей дважды в неделю, иногда сам давал им пояснения (официальный статус публичного музея палата приобрела лишь в 1858 году). В 1829 году он принимал в палате иранского принца Хосрев Мирзу, который приехал для принесения извинений за гибель Грибоедова в Тегеране.

В музее велись «Журналы присутствия в Оружейной палате», в которые заносились и имена посетителей. Среди «любопытствующих персон» значатся в 1820–1831 годах имена из ближнего круга знакомых Пушкина: Н. Н. Раевского, князя и княгини Вяземских, Н. М. Карамзина и его супруги, И. И. Дмитриева. Очень вероятно, что и сам Пушкин здесь бывал.

Хранились в Оружейной палате не только оружие и седла, но и драгоценности, короны русских государей, кресты, панагии, подсвечники, принадлежавшие Григорию Строганову, сосуды, часы, сапфировая чернильница с алмазами — дар шаха персидского Аббаса, подлинное Уложение Алексея Михайловича, знамена, в том числе знамя, развевавшееся при взятии Казани.

Палата постоянно пополнялась археологическими находками, а также дарами из царских и великокняжеских дворцов, от вельмож — например, в 1810 году канцлер И. А. Остерман передал в Оружейную палату золотые медали, полученные им в подарок от шведского короля в 1792 году.

В 1809–1810 годах Оружейная палата получила множество предметов из петербургских дворцов: подарки Екатерине II по случаю окончания русско-турецких войн — седла и сабли, украшенные драгоценными камнями, бриллиантовый пернач — головное украшение коня. Поступили сюда и огромный серебряный сервиз работы французских чеканщиков XVIII века, принадлежавший графу Григорию Орлову, и золотая табакерка с портретом императрицы Елизаветы Петровны, украшенная бриллиантами. После подавления польского восстания 1830-х годов генерал Паскевич прислал императору Николаю польскую конституционную хартию, и император приказал хранить ее в Оружейной палате как исторический курьез. Здесь же находилась модель Кремлевского дворца Баженова.

В Оружейной палате работали археограф А. Ф. Малиновский, Алексей Михайлович Пушкин, родственник поэта, М. М. Сонцов, Д. И. Киселев (главноприсутствующий палаты). В 1837 году канцелярским служителем Оружейной палаты стал будущий знаменитый историк Иван Забелин — и за 11 лет не продвинулся в должности, в 1848 году, будучи уже известным своими историческими трудами, он по-прежнему числился служителем 2-го разряда и получал 119 рублей в год.

В 1842 году директором Оружейной палаты назначен писатель Михаил Николаевич Загоскин, исторический романист; позднее директором палаты стал другой известный писатель XIX столетия А. Ф. Вельтман.

В 1837 году было предложено разместить все старинные кремлевские пушки у фасада Оружейной палаты, «потому, что само здание ее назначено для хранения достопамятностей». В 1843 году у левого угла Оружейной палаты была установлена Царь-пушка, и простояла она там до 1960 года, когда здание стали сносить. Вдоль фасада палаты стояли еще 20 старинных орудий. Царь-пушку в 1960 году передвинули к храму Двенадцати Апостолов, а остальные орудия перенесли к Арсеналу.

Статус Оружейной палаты был включен в Свод законов империи.

По мнению маститого историка искусства Е. И. Кириченко, в 1840-е годы, время поисков русского стиля и национальной идеи, старое классическое здание перестало соответствовать образу «национального музея». Были проблемы и более прозаические. С самого начала в Оружейной палате сознательно не сделали печей, «как источника, от которого могли быть уничтожены сокровища». К началу 1840-х годов в неотапливаемом здании прогнили деревянные перекрытия, появились пятна плесени на стенах, сводах и полах. Директор Оружейной палаты А. Вельтман подавал двору тревожные рапорты. В 1844 году архитектор К. А. Тон приступил к строительству нового здания Оружейной палаты у Боровицких ворот, где музей размещается и ныне.

С 1851 года Оружейная палата официально переведена в нынешнее здание у Боровицких ворот. Перемещение экспонатов началось в 1852 году. На новом месте из общедоступного просветительского музея Оружейная палата становилась семейным музеем реликвий династии Романовых, и вход в отдельные залы посетителям был закрыт.

А старое здание было отдано под казармы. Его полностью перестроили в 1852–1855 годах под наблюдением архитекторов К. А. Тона и Н. И. Чичагова. Здание лишилось ненужных казармам атрибутов дворца: портика, купола и аттика. Высокий двусветный верхний этаж разделили на два, и из двухэтажного здание сделалось трехэтажным. Скульптурный декор демонтировали. Автор описания Кремля 1883 года М. П. Фабрициус констатирует: «Теперь фасад здания ничем не напоминает прошлого».

На плане Кремля 1861 года под бывшей Оружейной палатой подпись: «Гвардейские казармы». В начале XX века здесь были казармы Екатеринославского полка.

В октябре 1917 года здание наполовину выгорело, в нем происходили перестрелки между юнкерами и революционными солдатами. Затем оно было восстановлено; в 1918 году в нем расквартировали два полка латышских стрелков, надежных защитников новой власти. Впоследствии некоторое время здесь размещалось общежитие работников Совета Народных Комиссаров.

В конце 1950-х годов, как можно понять из цитированного выше письма краеведа Родина, существовал проект создания в здании у Троицких ворот филиала Оружейной палаты. Наличие авторских чертежей архитектора Еготова, многочисленных описаний и изображений, вероятно, позволяло восстановить первоначальный облик фасадов и интерьеров.

Но в дело вмешался первый секретарь ЦК КПСС Никита Сергеевич Хрущев.

Согласно воспоминаниям заслуженного строителя РСФСР А. Н. Кондратьева, одного из авторов проекта и руководителей строительства Дворца съездов в Кремле, в начале 1959 года Н. С. Хрущев задумал построить в Москве новый большой зал для съездов КПСС и крупных общественных мероприятий. Заложенный в 1959 году, он первоначально именовался в проектных предложениях Дворцом конгрессов. До этого советские и коммунистические форумы проводились то в зале заседаний Верховного Совета СССР в Большом Кремлевском дворце, то в Колонном зале Дома Союзов, то в Большом театре. Но масштабы были не те. Во время поездки в Китай Хрущева поразил размах построенного в Пекине к 10-летию китайской революции здания Всекитайского собрания народных представителей — с залом заседаний на 10 тысяч мест и огромным банкетным залом. Мог ли Советский Союз отстать от Китая, которому тогда покровительствовал? Проектная вместимость зала заседаний Дворца съездов была увеличена с 4000 до 6000 мест, и архитекторам велено было дополнить проект грандиозным банкетным залом. В Пекин была командирована группа архитекторов и инженеров — изучать ценный опыт…