История знаменитого особняка началась в 1758 году с покупки богатым армянским купцом Лазарем Лазаряном усадьбы владельца шелковой фабрики Шеримана, располагавшейся на месте современного главного здания, и владения бояр Милославских. Богатая и влиятельная армянская семья Лазаревых (Лазарян) переселилась в Россию из Персии в середине XVIII века. Вначале она жила в Астрахани, а несколько позже прочно обосновалась в Петербурге и Москве, где возглавила колонии армян. В те годы тысячи армян перебирались в нашу страну по монаршему приглашению, спасаясь от притеснений в Персии. Обладая огромным состоянием, Лазарь Лазарян, получивший в России фамилию — Лазарев, купил село Фряново, в 60 верстах от Москвы, и завел там огромную текстильную фабрику, став богатейшим вельможей России.

Московский переулок, в котором жила армянская колония, именовался Столпов по находящейся поблизости церкви святого Николая «что в Столпах». По ходатайству, удовлетворенному императрицей Екатериной II, Лазаревым было разрешено поставить (на современном участке № 5) свою армяно-григорианскую церковь во имя Воздвижения Святого Креста. Церковь, построенная в лучших традициях классицизма, по красоте не уступала петербургской церкви св. Екатерины, возведенной на Невском проспекте рядом с домом Лазарева. С этого времени переулок стал называться Армянским. В лихие послереволюционные годы церковь была снесена

Наиболее яркой фигурой в роду Лазаревых был старший сын Лазаря Назаровича и Анны Екимовны, Иван (Ованес), политический деятель, друг М.М. Сперанского, крупный предприниматель и просветитель. Иван Лазаревич был влиятельной фигурой при дворе Екатерины II, а позже и Павла I, установив доверительные отношения с наиболее влиятельными лицами Высочайшего двора — братьями Орловыми, канцлером

А.А.Безбородко, светлейшим князем Т. А. Потемкиным. Его советами не раз пользовались при решении важнейших задач русской политики на Востоке. На его деньги строились церкви, школы, приюты, пополнялись библиотеки, он оказывал помощь соплеменникам, проживающим в Персии, Турции и Крыму.

На портрете художника И.Б. Лампи И.Л. Лазарев представлен за работой. Перо в руке, чернильница и книга — атрибуты просвещенного человека XVIII века.

Портрет И.Л. Лазарева. Иоганн Баптист Лампи

Он был одним из богатейших помещиков России, владел огромными фабриками, лесами и рудниками в Уральских горах. Его богатство было настолько велико, что он одалживал крупные суммы влиятельным вельможам. Именно с его именем связана история знаменитого алмаза «Орлов», самого крупного алмаза Российской империи.

По одной из легенд персидский шах Надир, завладевший в 1737 г. городом Дели, дал алмазу, размером с половину куриного яйца, название «Дерианур» («Море света»). У шаха Надира бриллиант «Орлов» стоял в паре с бриллиантом «Кохинор» в павлиньем троне. Алмаз был вторым глазом царственной птицы. Исследователи считают, что оба алмаза являются частями гигантского алмаза Великого Могола, пропавшего при загадочных обстоятельствах.

Согласно другой легенде, алмаз «Дерианур» был одним из алмазов, служивших глазами статуи Брамы, установленной в храме в Мадрасе. Алмаз был украден в начале XVIII в. французским солдатом, который обманом стал одним из охранников храма. Он продал камень капитану английского корабля, а тот, в свою очередь, перепродал его торговцу в Лондоне. С тех пор следы знаменитого алмаза затерялись до того времени, пока он не оказался в руках купца Григория Сафраса. В 1767 году он положил алмаз в Амстердамский банк, а через пять лет продал камень племяннику своей жены, придворному ювелиру Екатерины II Ивану Лазареву, который назвал его своим именем «Лазарев».

Какой бы ни была на самом деле история уникального камня, несомненным является тот факт, что в 1773 году его купил в Амстердаме у И. Л. Лазарева князь Григорий Орлов и преподнес императрице Екатерине II в день ее именин вместо букета цветов в тщетной надежде вернуть ее утраченную милость. Но это лишь официальная версия. На самом деле бриллиант Орлов не покупал, денег за него не платил и очень недолго держал его в своих руках. Камень купила сама Екатерина II, заплатив за него из государственной казны. Но чтобы отвести от себя обвинения в мотовстве и неразумных тратах, она придумала целый спектакль. Говорят, что за камень было уплачено 400 000 рублей. Екатерина II приказала вставить алмаз в царский скипетр и в знак благодарности назвала его — «Орлов», а Лазаревым пожаловала потомственное дворянство и пожизненную пенсию. Весть об этом поистине царском подарке облетела всю Европу, так как ни один из европейских монархов не мог похвастаться бриллиантом такого размера. В настоящее время он хранится в Алмазном фонде в Москве.

По традиции И.Л. Лазарев считается основателем Лазаревского института, основанного через полтора десятка лет после его смерти, но именно он вынашивал идею создания училища для детей бедных армян и завещал крупную сумму на эту цель. Воодушевленный идеей духовного возрождения армянского народа, Лазарев мечтает о новых ученых, писателях, поэтах, государственных деятелях, которые выйдут из стен фамильного заведения.

Торжественная закладка главного здания состоялась 10 мая 1814 года его сыном Екимом Лазаревым, однако днем рождения училища считается май 1815 года, когда в классах начались занятия воспитанников. Основой нового здания послужил старый двухэтажный дом Лазаревых с флигелями, частично сломанный. Строительство продолжалось до начала 20-х годов XIX в. В результате перестройки по проекту архитектора А.Г. Григорьева фасад палат, выходящий в Армянский переулок, приобрел величественный ампирный вид. Вокруг зданий была установлена изысканная ажурная ограда, отлитая на принадлежащих Лазаревым уральских заводах.

Екима Лазаревича Лазарева принято называть — учредителем Института. Из всех портретов Е.Л. Лазарева получил наибольшую известность тот, на котором он держит в руке выполненный в цвете рисунок Лазаревского института.

В конце 1822 года в институтском саду в присутствии учеников и почетных гостей был торжественно открыт памятник в честь семьи Лазаревых — чугунный обелиск с барельефами основателей института и памятными надписями на мраморных досках, укрепленных на каждой из четырех граней.

Портрет Е.Л. Лазарева. В. Тропинин

В 1827 году Лазаревское училище преобразуется в Лазаревский институт восточных языков. За семьей Лазаревых, несших все расходы по строительству и содержанию учебного заведения, а также выделявших средства на бесплатное обучение значительного числа воспитанников, закреплялось право попечителей. Вслед за повышением статуса училища последовало и укрупнение институтских владений. В 1828 году Иван Екимович купил соседний с правым флигелем дом, принадлежавший ранее М. А. Салтыковой, который был переоборудован под «типографию, слывшую одной из лучших в Москве. В середине XIX века был куплен дом Меллеров, а также дом № 7 по Армянскому переулку, где долгие годы жили педагоги института.

Во второй половине XIX века институт постоянно достраивался и перестраивался. Слева от главного здания появились гимнастический и хозяйственный корпуса, а в 1905-м — строения для библиотеки и больницы.

1871 году, после смерти Х.Е. Лазарева, род Лазаревых по мужской линии прекратил существование, и институт перешел в ведение министерства просвещения, получив статус государственного учебного заведения. К началу XX столетия Лазаревский институт приобрел всемирную известность и по праву стал считаться сокровищницей культуры. Особую ценность представлял Минералогический кабинет, нумизматическая коллекция и знаменитая библиотека Лазаревых. На средства института стали снаряжаться научные экспедиции в страны Востока с целью изучения памятников мировой культуры, а лучшие выпускники направлялись для усовершенствования за границу.