В светских гостиных спорили о вредности шиллеровской трагедии. Журнал «Северный наблюдатель» не без иронии по отношению к ее противникам писал: «Известная Шиллерова трагедия „Разбойники“ наделала много вреда: несколько молодых студентов, прельстясь характером Карла Моора, захотели, подобно ему, прославиться в звании разбойников». Но таких студентов было не несколько. По воспоминаниям современников, «молодежь бредила „Разбойниками“, в университетах и училищах составлялись братства освободителей человечества и клялись преследовать злодейство и несправедливость». В среде молодых театралов цитировались пророческие слова молодого Фридриха Шиллера, говорившего о миссии служителей сцены: «Когда справедливость слепнет, подкупленная золотом, и молчит на службе у порока, когда злодеяния сильных мира сего издеваются над ее бессилием и страх связывает десницу властей, театр берет в свои руки меч и весы и привлекает порок к страшному суду».

Но страх связывал не только «десницу властей», а и десницу подвластного им театра. Карл Моор с его мятежными речами на долгое еще время был изгнан со сцены. Свою «главную роль» Яковлеву больше сыграть не пришлось. Она была высшей и поворотной точкой сценического восхождения Яковлева.

После изгнания «Разбойников» началось повторение пройденного. И быстрое скольжение вниз.

По приходе в театр Шаховского (поселившегося, кстати, в том же, что и Яковлев, доме Лефебра) увеличилось количество постановок классицистских трагедий. Все главные женские роли в них теперь играла Семенова. Большинство ролей молодых любовников Яковлев отдал Брянскому. Да и во многих ролях героев и царей Брянский его тоже заменил. Марию Ивановну Вальберхову вновь приняли в театр, но на иные роли, чем она играла прежде, — на комедийные, в которых она нашла себя. Каратыгина, после болезни переехавшая вместе с семьей и другими актерами в дом Голидея (находившийся на той же Офицерской, напротив дома Лефебра), первое время на сцене появлялась редко.

Вокруг Яковлева образовывалась совершенная пустота. Отказываясь от выпивок и вечеринок, он постепенно терял привычных приятелей. С грустью проводил московских актеров, которые вернулись к себе домой в середине июля 1814 года. Реже начали навещать его драматурги. А играть ему становилось все трудней.

Для классицистских ролей требовался в первую очередь голос. Вдохновение посещало Яковлева все реже. Он пытался возместить утраченное приобретенным годами мастерством. Но мастерство без обычного для него воодушевления было мертво. После обретенного и отторгнутого от него Карла Моора Яковлева покинул тот трепет вхождения в роли, который испытывал он до этого двадцать лет.

Из всех вновь сыгранных в 1815 году ролей была для него более или менее интересна одна: роль Агамемнона в трагедии Расина «Ифигения в Авлиде», переведенная М. Е. Лобановым и поставленная явно для Семеновой, бывшей, по общему приговору критики, в роли жены Агамемнона Клитемнестры «идеалом поэзии». Воплощая величественного и грозного греческого царя, вынужденного по приказу богов во имя победы соотечественников отдать свою дочь Ифигению в жертву, он должен был противостоять Семеновой — Клитемнестре, с неистовой страстью матери восставшей против решения Агамемнона. И хотя, по отзывам современников, «исполнение его было превосходно», Семенова, сыгравшая, по многочисленным свидетельствам, роль Клитемнестры так, что «театр стонал от рукоплесканий и криков», совершенно затмила Яковлева.

Она теперь затмевала его во всем. Мощный, созревший ее талант набрал полную силу. Уступая ей первенство в снова овладевшем сценой классицистском репертуаре, Яковлев постепенно терял власть над зрителем. Его еще замечали в рецензиях. Ему посвящали экспромты, написанные на спектаклях, вроде того, который сочинил старинный и верный его приятель Василий Михайлович Федоров:

Но о нем уже говорили как о знаменитом прошлом. Он начал переживать свою славу. С 1 марта 1815 года с Яковом Григорьевичем Брянским был заключен контракт, по которому ему официально вменялось «играть… в трагедиях, комедиях и драмах первые роли молодых любовников и прочие, принадлежащие к сим амплуа». Все больше ролей отдавал ему Яковлев. Все реже играл сам.

Семенова, пришедшая к почти полному «единодержавию» на петербургской сцене, теперь диктовала свои законы. Приближалась юбилейная дата ее служения в театре. Вопреки приказаниям Нарышкина, все еще находящегося в отъезде, не делать никаких изменений в жалованьях актерам, Тюфякин, опираясь на более высокие связи, 15 июля 1815 года издал такой приказ: «По близкому окончанию законного десятилетнего срока со дня выпуска из школы актрисы Семеновой большой 4 июля сего года, и согласно сообщению моему с комитетом, сделанная ей для сравнения с другими главными персонажами российской труппы прибавка к получаемому ею доселе жалованью 2500 рублей, на наем квартиры к 200 рублям еще 300 рублей, ежегодно по 20 сажен дров и по одному бенефису на обыкновенных казенных расходах, за что она обязана исполнять весь прежний возлагаемый дирекцией на ее обязанности репертуар, до прибытия в столицу государя императора, с тем, что тогда будет сделано особое представление с требованием на высочайшее благоусмотрение…»

В дополнительно же посланном комитету, ведавшему в отсутствие императора театральными делами, отношении Тюфякин особо указывал, что Семенова «требует прибавки, сравнивающей ее с первыми сюжетами». И то только «до возвращения государя императора в надежде, что его величество благоволит всемилостивейше отличить ее от прочих повышением ее оклада». И что без немедленного предоставления ей «выгод, кои имеет Яковлев», она «не останется в службе». Комитет просьбу ее удовлетворил.

Яковлев же, исполнив с Каратыгиной «в вознаграждение окончившейся двадцатилетней усердной службы» 1 июля «Отелло», а затем на обычном своем бенефисе, состоявшемся 1 сентября 1815 года, когда-то сыгранную им при первых дебютах роль сумароковского Синава, еще через восемь дней подал прошение об увольнении его со сцены «по случаю слабого здоровья» и о выдаче заслуженного им пенсиона.

Круг одиночества сузился для него до предела. И тогда он решился на то, в чем первому признался другу юности Григорию Ивановичу Жебелеву:

— Я женюсь, схвачусь как утопающий, ища спасения, за бритву… Но пробуждение мое будет ужасно!

Он посватался к двадцатилетней красавице актрисе Авдотье Ласси. Но та, по ходившим слухам, ему отказала. Не испытав от этого, по-видимому, никакого огорчения, Яковлев решил жениться на другой. Минута и здесь решила у него все. Вот что рассказывал по этому поводу внук Александры Дмитриевны Каратыгиной Петр Петрович: «Как-то летом 1815 года, проходя мимо окон квартиры отставного камер-музыканта Ивана Федоровича Ширяева, он увидел его хорошенькую семнадцатилетнюю дочь Катерину и завернул к старику. Обрадованный Ширяев не знал, как принять дорогого гостя, который сам попросил подать ему стакан вина, но не иначе как из рук молоденькой хозяйки и не иначе с ее поцелуем „на закуску“. Желание Яковлева было исполнено; осушив стакан, он поцеловал переконфуженную девушку и сказал ее отцу: „Ну, старина, благословляй!“ Подвел ее за руку к Ширяеву. Обомлел старик, принимая слова Алексея Семеновича за шутку. „Нет, друг, — с чувством ответил артист, — такими вещами не шутят, а честную девицу зря не целуют. Я женюсь на Катеньке“».

Петр Петрович допустил в своем рассказе две неточности. Екатерине Ивановне Ширяевой, судя по документам, хранящимся в архиве театральной дирекции, было в это время не семнадцать, а уже двадцать лет. Ровесник же Яковлева — Иван Ширяев имел отчество не Федорович, а Кузьмич; он еще не был отставным камер-музыкантом, играя в оркестре петербургского театра на скрипке и не успев выслужить полагающихся до пенсии двадцати лет. В основном же рассказ П. П. Каратыгина выглядит правдоподобным. Его подтверждают и другие биографы актера.