По воспоминаниям, Толстой в то время поражал воображение своих сверстников.
«Граф Толстой, - писал А.В. Мещерский, - был одарен исключительной памятью. Мы часто для шутки испытывали друг у друга память, причем Алексей Толстой нас поражал тем, что по беглом прочтении целой большой страницы любой прозы, закрыв книгу, мог дословно все им прочитанное передать без одной ошибки; никто из нас, разумеется, не мог этого сделать».
В «Записках Василия Антоновича Инсарского» говорится: «Граф Алексей Толстой был в то время красивый молодой человек, с прекрасными белокурыми волосами и румянцем во всю щеку. Он еще более, чем князь Барятинский, походил на красную девицу; до такой степени нежность и деликатность проникала всю его фигуру. Можно представить мое изумление, когда князь однажды сказал мне: «Вы знаете, это величайший силач!» При этом известии я не мог не улыбнуться самым недоверчивым, чтобы не сказать презрительным образом; сам принадлежа к породе сильных людей, видавший на своем веку много действительных силачей, я тотчас подумал, что граф Толстой, этот румяный и нежный юноша, силач аристократический и дивит свой кружок какими-нибудь гимнастическими штуками. Заметив мое недоверие, князь стал рассказывать многие действительные опыты силы Толстого: как он свертывал в трубку серебряные ложки, вгонял пальцем в стену гвозди, разгибал подковы. Я не знал, что и думать. Впоследствии отзывы многих других лиц положительно подтвердили, что эта нежная оболочка скрывает действительного Геркулеса».
В короткой автобиографии, составленной много позже для итальянского литературного критика Анджело де Губернатиса, Алексей Толстой писал, что к страсти к искусству и Италии «вскоре присоединилась другая, составлявшая с ней странный контраст, на первый взгляд могущий показаться противоречием: это была страсть к охоте. С двадцатого года моей жизни она стала во мне так сильна и я предавался ей с таким жаром, что отдавал ей все время, которым мог располагать. В ту пору я состоял при дворе императора Николая и вел весьма светскую жизнь, имевшую для меня известное обаяние; тем не менее я часто убегал от нее и целые недели проводил в лесу, часто с товарищем, но обычно один. Среди наших записных охотников я вскоре приобрел репутацию ловкого охотника на медведей и лосей и с головой погрузился в стихию, так же мало согласовавшуюся с моими артистическими наклонностями, как и с моим официальным положением; это увлечение не осталось без влияния на колорит моих стихотворений. Мне кажется, что ему я обязан тем, что почти все они написаны в мажорном тоне, тогда как мои соотечественники творили большею частью в минорном».
Весной 1837 года, судя по письмам, Алексей Толстой с матерью живут в Красном Роге. Охота заполняет почти все его время. Он бьет лис, косуль, зайцев. По ночам подстерегает волков.
Анна Алексеевна в это время захвачена хозяйственной деятельностью. Она переносит на другое место флигель (из всех краснорогских зданий он один только и сохранился), она самовластно вводит строгости по отношению к крестьянам, которые при сердобольном и снисходительном Перовском привыкли к безнаказанности за потравы и порубки в господских владениях. Ожесточенные новыми порядками, двадцать пять крестьян из Рославца подстерегли в Пашицком лесу главного лесника, напали на него и избили до полусмерти.
По преданиям, которые рассказывают и по сей день в селе Красный Рог, Толстого занимала не только охота. В громадном парке и сегодня еще можно найти Поляну, тесно обсаженную липами так, что они образуют круг. В середине этого круга молодой Толстой будто бы устраивал веселые празднества - девушки из села пели песни, показывали свое искусство бродячие скоморохи и плясуны. В «шалаше» - своеобразном зале на чистом воздухе, со стенами из подстриженных лип - на помосте стоял стол, за которым пировали молодой хозяин и его друзья. Рассказывают, что силач Алексей любил мериться силами с деревенскими богатырями.
В 1837 году Толстой съездил во Франкфурт-на-Майне, к месту службы. Там он впервые увиделся с Гоголем, с которым случилось забавное происшествие, о чем поведал со слов Алексея Толстого Пантелеймон Кулиш. Тот писал, что, остановись в одной из франкфуртских гостиниц, Гоголь «вздумал ехать куда-то далее и, чтобы не встретить остановки по случаю отправки веющей, велел накануне отъезда гаускнехту (то, что у нас в трактирах половой), уложить все вещи в чемодан, когда еще он будет спать, и отправить их туда-то. Утром, на другой день после этого распоряжения, посетил Гоголя граф А.К. Т(олстой), и Гоголь принял своего гостя в самом странном наряде - в простыне и одеяле. Гаускнехт исполнил приказание поэта с таким усердием, что не оставил ему даже во что одеться. Но Гоголь, кажется, был доволен своим положением и целый день принимал гостей в своей пестрой мантии, до тех пор пока знакомые собрали для него полный костюм и дали ему возможность уехать из Франкфурта».
Из-за рубежа Толстой вернулся в Петербург.
Он еще находится под «обаянием» большого света, который, по словам Соллогуба, умел и любил веселиться; на родовитых россиян еще не пахнуло ни английской де-ревянностью, ни французской распущенностью. Богатые дворяне стараются перенимать у соседей европейцев все щегольское, красивое, тонкое. Быть комильфотным - значит не позволять себе ничего экстравагантного. Ценится опрятность во всем - белоснежное белье; ни пылинки, ни складки на платье: на английском макинтоше без талии, панталонах от Шевреля, фраке, шитом в Лондоне...
Версификация среди образованного сословия - болезнь повальная, но почитаются поэты истинные - Пушкин, Жуковский, Баратынский, Языков... В домашних спектаклях играют все без исключения - от мала до велика. В многочисленных салонах царил умеренно фрондерский дух, что воспринималось императором, строго следившим за проявлениями истинного вольнодумства, с достаточной снисходительностью.
Федор Толстой, дядя Алексея Толстого, держал открытый дом: музыкальные и танцевальные вечера сменялись живыми картинами и домашними спектаклями. Алексей Толстой тогда еще не бывал у Федора Петровича, потому что, настроенный матерью, не хотел встречаться там с отцом, который дневал и ночевал у брата. У Федора Толстого часто прохаживались насчет императора. Дочь Федора Петровича вспоминала:
«Резкие речи его иногда доходили до императора; один раз Адлерберг нарочно приехал к отцу и передал ему слова монарха: «Спроси ты, пожалуйста, у Толстого, за что он меня ругает? Скажи ему от меня, чтобы он, по крайней мере, не делал это публично».
Давно кончился XVIII век, век временщиков и произвола. Царь и его семейство при всем могуществе фактически были уже не более чем первыми дворянами государства и не могли не считаться с коллективным самосознанием дворянства. Заведенная после 14 декабря система сыска была внешне грозной, но не слишком действенной, когда дело касалось контроля над умами, что давало право Герцену говорить о «времени наружного рабства и внутреннего освобождения».
Алексей Толстой, проявивший потом себя как сатирик, в свои двадцать лет еще мало задумывался над политическими сложностями эпохи, да и сильно было влияние многочисленных Перовских, упорно делавших большую карьеру. Они и Алексея Толстого прочили на высокие посты.
В одном из его писем того времени есть такое: «Дядя мой Л.А. Пер(овский) известил меня, что В(аше) пр(евосходительство) сообщили ему намерение е. и. в. госуд. наследника поручить мне должность секретаря при его особе...» Это был дальний прицел «русской» партии при дворе, боровшейся за влияние с «немецкой» партией Бенкендорфа, Нессельроде, Клейнмихеля и других. Но назначение почему-то не состоялось. Скорее всего сказалось отвращение Толстого к бюрократии и манкирование им службой вообще.
Живя в Красном Роге с осени 1837 года, Толстой с удовольствием переписывается со своими молодыми петербургскими знакомыми. Письма он сочиняет в виде веселых «фантазий в нескольких действиях, не считая интермедий и дивертисментов», в которых наряду с вымышленными персонажами действуют его вполне реальные светские знакомые - Безбородко, Голенищев-Кутузов... Там множество пародий, выказывающих превосходное знакомство Толстого с репертуарами столичных театров, а также с модными сочинениями. Свои письма Толстой снабжал карикатурными иллюстрациями.