В 1863 г., в связи с закрытием Пензенского дворянского института, И. Н. Ульянов получил новое назначение и переехал вместе с молодой женой в Нижний Новгород, где он работал одновременно в нескольких местах. Он вел занятия на землемерно-таксаторских курсах, преподавал физику в местном женском училище первого разряда, работал старшим учителем математики и физики в мужской гимназии, работал воспитателем в Дворянском институте. Молодой семье Ульяновых на первых порах было нелегко. С жильем  определились лишь через три месяца: Дворянский институт предоставил семье казенную квартиру.  14 августа 1864 г. в Нижнем Новгороде у Ульяновых родилась дочь Анна, а 31 марта 1866 г.  родился сын Александр.

 В Нижнем Новгороде Илья и Мария прожили шесть лет. Много лет спустя Анна Ильинична Елизарова-Ульянова в своих воспоминаниях так писала о  жизни семьи в Нижнем Новгороде: «Помню нашу казенную квартиру в коридоре здания гимназии из четырех в ряд идущих комнат, причем лучшей была наша детская; помню кабинет отца с физическими приборами, а также и то, что одной из любимых наших игрушек был магнит и натертая сукном палочка сургуча, на которую мы поднимали мелкие бумажки. Помню зимние вечера, игру матери на фортепиано, которую я любила слушать, сидя на полу подле ее юбки, и ее постоянное общество, ее участие в наших играх, прогулках, во всей нашей жизни. С тех пор как я начинаю себя помнить, у нас была одна прислуга, находившаяся больше на кухне, а мы бывали с матерью. Нянек у нас, двоих старших, я не помню. У матери моей - от природы живого и общительного характера - были там добрые приятельницы; можно было, уложив детей, собраться, почитать, поболтать, помузицировать вместе. Получались там все новые журналы. Отец читал иногда вслух по вечерам, между прочим, печатавшуюся тогда частями «Войну и мир» Толстого».

 Из Нижнего весной 1868 г. Мария Александровна с детьми совершила поездку в Астрахань к родным Ильи Николаевича. Там жили его мать, брат Василий и сестры, Мария и Феодосия.

  Фрейлина. Инесса Арманд, возлюбленная Владимира Ильича, передала своим знакомым тайну, сообщенную ей кем-то из Ульяновых. Версия не подтверждалась никакими документами, она воспринималась лишь как литературное произведение, а не как фактическая история. Как следовало из повествования, Мария Александровна, мать Ленина, в юности была взята ко двору, но пробыла там недолго, скомпрометировав себя романом с кем-то из великих князей, за что ее отправили к отцу в Кокушкино и быстро выдали за Ульянова, обеспечив ему регулярное повышение по службе. После смерти отца, в 1886 г. старший сын Александр, разбирая бумаги покойного, наткнулся на документ, касающийся пребывания при императорском дворе девицы Марии Бланк (его матери), - то ли пожалование материального характера на новорожденного, то ли письмо, раскрывающее тайну. Александр поделился открытием с Анной, и оба поклялись отомстить. Версия получила развитие.  По другим источникам  мать Ленина оказалась   фрейлиной императрицы, жены Александра Третьего

 Писательница Лариса Васильева привела в своей книге «Кремлевские жены» услышанную ею легенду о матери Ленина. «Весной 1991 года в одной компании услыхала я легенду: будто бы мать Ленина, Мария Бланк, до замужества некоторое время была при царском дворе чуть ли не фрейлиной, завела роман с кем-то из великих князей, чуть ли не с будущим Александром II или III, забеременела и была отправлена к родителям, где ее срочно выдали замуж за скромного учителя Илью Ульянова, пообещав ему повышение по службе, что он регулярно получал в течение всей жизни. Мария родила первого своего ребенка, сына Александра, потом еще много детей, уже от мужа, а спустя годы Александр Ульянов узнал тайну матери и поклялся отомстить царю за ее поруганную честь. Став студентом, он связался с террористами и готов был покуситься на жизнь царя, своего подлинного отца. Легенда вызвала сомнения».

 «От автора пьесы «Семья», драматурга Ивана Попова, друга моего отца, много лет назад, в середине пятидесятых, я услышала: «Анна у Марии Александровны прижитая. Она как будто дочь кого-то из великих князей».

 Попов был социал-демократом, работал с Лениным в эмиграции, дружил с Инессой Арманд. Он уверял, что Инесса знала какую-то тайну семьи Ульяновых».

 В 90-е годы  прошлого столетия в одной из петербургских газет («Новый Петербургъ») было опубликовано интервью с журналистом  Александром Павловичем Кутеневым о внебрачных детях царя Александра III:

 НП: Александр Павлович, не можете ли подробнее рассказать о внебрачных детях Александра III?

 АПК: У Александра III, действительно, было немало внебрачных детей, поскольку он был человеком безудержным и страстным. Среди детей были и исторические знаменитости. В частности, Александр Ульянов, старший брат Владимира Ильича Ленина. Дело в том, что Мария Александровна, мать Ленина, была фрейлиной при дворе Александра II. Когда Александр III был просто великим князем, у него был роман с Марией Александровной, от него она в девичестве родила сына Александра. История знает немало подобных примеров: в России к бастардам относились гуманно – давали княжеский титул, приписывали к гвардейскому полку. Известно, что Ломоносов был сыном Петра I, князь Бобринский – сыном Потемкина и Екатерины II, Разумовский – внебрачным сыном Елизаветы. Все они, как вы знаете, сделали прекрасную карьеру, и никогда не чувствовали себя изгоями. Такая же участь была уготована и Александру, брату Ленина.

 Но Мария Александровна все испортила: вслед за Александром она родила еще ребенка – девочку, и к Александру III эта девочка уже никакого отношения не имела. Держать при дворе фрейлину с двумя детьми было неприлично. Чтобы замять скандал, решили передать дело охранке. Охранка нашла в Петербурге несчастного человека – гомосексуалиста Илью Ульянова. Как человек с не традиционной сексуальной ориентацией, он был на крючке у охранки. Ему дали в приданое к Марии Александровне дворянский титул, хлебное место в провинции, и молодожены отправились в Симбирск.

 И вся бы эта предыстория замялась, если бы не страстный нрав Марии Александровны. Она и в Симбирске не отличалась строгим поведением, и хотя сексуальная жизнь с Ильей Николаевичем у нее сложиться никак не могла, она родила еще четырех детей, неизвестно от каких отцов.

 Можете представить, каково было детям Ульяновых в гимназии. В маленьком городке все сразу становится известным, и мальчишки дразнили своих сверстников Ульяновых: припоминались и мамочка, и царь, и Илья Николаевич. В конечном счете, все это отрицательно повлияло на Александра: он вырос очень озлобленным с желанием во что бы то ни стало шлепнуть папочку. С этими планами он и отбыл в Петербург на учебу. Остальное все организовала охранка. Как в наше время спецслужбы организовали Народный фронт и другие демократические организации. Там в те далекие времена охранка помогла Александру Ульянову войти в народовольческую революционную организацию и принять участие в покушении на царя.

 Как только Мария Александровна узнала, что сын арестован за покушение на царя, она сразу же поехала в Петербург и явилась к Александру III. Удивительное дело: ни один источник не поражается тому, что никому не известная бедная симбирская дворянка без всяких проволочек попадает на прием к царю! (Впрочем, историки никогда не удивлялись и тому факту, что даты рождения двух первых детей Ульяновых предшествуют дате свадьбы Ильи и Марии.) А Александр III принял свою старую пассию сразу, и они вместе посетили Сашу в крепости. Царь простил «цареубийцу», пообещав дать ему княжеский титул, записать в гвардию. Но Сашенька оказался с характером, он сказал все, что думает об обоих своих родителях. И пообещал им, что как только очутится на свободе, предаст гласности всю их бесстыдную историю и обязательно швырнет бомбу в папочку! Поэтому на свободу Александра Ульянова так и не выпустили, а отправили в психушку, где он своей смертью умер в 1901 году. Историки не сходятся на способах казни, но казни никакой не было.