Узнав о приближении карательного татарского войска, Андрей с семьёй и приближёнными бежал из Владимира, чем спас город от разорения. Татары настигли великого князя под Переславлем-Залесским. Произошла короткая битва, малочисленная дружина Андрея Ярославича была разбита, сам великий князь едва не попал в плен. Он решил укрыться в Новгороде, но его там не приняли, очевидно, опасаясь татарского вторжения. Князь ушёл в Псков, а оттуда, дождавшись жены, в Колывань (Таллин). Из Колывани князь Андрей уехал в Швецию, куда потом прибыла и его семья.
Его имя фигурирует в скандинавских источниках, в «Саге о Хаконе Хаконарсоне», повествующей о норвежском короле Хаконе IV Старом, правившем в 1217–1263 годах.
Автор Лаврентьевской летописи, явно симпатизировавший Александру Невскому, объясняет случившееся происками самого Андрея и его бояр: «В то же лето князь Андрей Ярославич надумал со своими боярами бежать, дабы не служить цесарям, и побежал в неведомую землю с княгинею своею и с боярами своими; и погнались татары за ним вслед…» 24 июля, в «Борисов день», у Переславля произошло сражение, в котором полки Андрея и поддержавшего его брата Ярослава были разбиты татарами. Андрей бежал в Новгород, однако новгородцы не согласились принять его. Тогда он отправился в Псков, здесь дождался своей супруги, сумевшей убежать из Владимира, и вместе с ней перебрался в Колывань, а оттуда за море, в «Свейскую землю», то есть в Швецию, правитель которой принял его «с честью».
После бегства, а точнее изгнания, Андрея великокняжеский престол занял его старший брат князь Александр Ярославич Невский.
На чужбине Андрей Ярославич пробыл некоторое время, но оставаться в Швеции навсегда не решился и вернулся на родину. Как пишет Н. М. Карамзин: «… добродушная ласка Шведов не могла утешить его в сём произвольном изгнании: отечество и престол не заменяются дружелюбием иноземцев».
Когда именно произошло возвращение князя Андрея на родину, сказать трудно. Летописи ограничиваются тем, что констатируют, Андрей «пребыв» за морем «… потом приде во свою отчину». Точную дату возвращения Андрея Ярославича называет лишь Василий Никитович Татищева, указывая на 1255 год. То есть, князь Андрей пробыл в Швеции три года. Большой срок. В это время в Швеции правил король Вальдемар I из новой династии Фолькунгов. Он был старшим сыном ярла Биргера, возможного участника Невской битвы. Вальдемар I был избран королём в 1250 году.
Александр Ярославич, принял младшего брата «с любовью» и хотел дать ему в удел город Суздаль, но не посмел сделать этого, опасаясь ханского гнева. По сведениям того же В. Н. Татищева, тогда же Андрей получил от брата Городец и Нижний Новгород.
В следующем 1256 году великий князь Александр Невский посылал послов в Золотую Орду к новому хану, малолетнему сыну Батыя — Улагчи (умер 1257) с великими дарами, и испросил у него прощение для брата Андрея. Очевидно, новый хан, а точнее правившая от его имени старшая жена покойного хана Батыя — Боракчин-хатун, были снисходительны к опальному князю Андрею. В 1257 году Андрей Ярославич вместе с братом Александром и другими князьями ездил в Золотую Орду, и там получил ярлык на владение Суздалем. В этом году, поле смерти малолетнего хана Улагчи, власть в Орде захватил младший брат покойного хана Бытыя — Берке.
Тогда же состоялось полное примирение князя Андрея Ярославовича не только со своим старшим братом, но и признание проводимой им в отношении Золотой Орды политики, направленной на отказ от открытого сопротивления. В 1258 году князь Андрей вновь ездил в Золотую Орду с братом Александром и другими князьями. Зимой 1259/60 года князь Андрей с великим князем, сопровождали татарских послов в Новгород, для проведения переписи населения для более точного обложения его данью. Возмущённые предстоящей переписью новгородцы подняли восстание в городе, которое было подавлено великим князем Александром Невским и Андреем Суздальским.
Из Новгорода князь Андрей Ярославич отправился в Суздаль. Затем летописи отмечают только год его смерти в 1264 году. Сохранилось известие, приведённое Василием Никитичем Татищевым, что сразу же после смерти Александра Невского в 1263 году, князь Андрей опять добивался великого княжения, но хан отказал ему, отдав великокняжеский престол, следующему брату Ярославу Ярославичу (1230–1271), владевшему Тверским уделом, и ставшего родоначальником Тверских князей.
Николай Михайлович Карамзин (1766–1826) в своей «Истории» дал следующую оценку Андрею Ярославовичу: «…Андрей …, хотя имел душу благородную, но ум ветреный и неспособный отличать истинное величие от ложного: княжа в Владимире, занимался более звериною ловлею, нежели правлением; слушался юных советников и, видя беспорядок, обыкновенно происходящий в Государстве от слабости Государей, винил в том не самого себя, не любимцев своих, а единственно несчастные обстоятельства времени. Он не мог избавить Россию от ига: по крайней мере, следуя примеру отца и брата, мог бы деятельным, мудрым правлением и благоразумною уклончивостию в рассуждении Моголов облегчить судьбу подданных: в сем состояло тогда истинное великодушие. Но Андрей пылкий, гордый, положил, что лучше отказаться от престола, нежели сидеть на нём данником Батыевым, и тайно бежал из Владимира с женою своею и с Боярами».
Такая характеристика князя Андрея стала следствием устоявшегося в исторической науке мнения об абсолютной правильности проводимого Александром Невским политического курса, направленного на сотрудничество с Золотой Ордой, как единственно возможного. Другое альтернативное политическое течение, представителем которого являлся князь Андрей Ярославич, сделавший ставку на открытое противостояние с Ордой, было объявлено ложным. Хотя Галицко-Волынские князья, проводя активную политику противостояния Золотой Орде, гораздо раньше, чем Северо-Восточная Русь, смогли избавиться от монгольского ига, опираясь на поддержку соседних стран. Этому во многом способствовало то обстоятельство, что князь Даниил Галицкий сумел объединить под своей властью все земли Галицко-Волынской Руси, став фактически единовластным правителем. Андрей Ярославич не обладал такой властью, его титул великого князя был чисто номинальным, и означал, что он лишь первый среди равных. Антиордынский союз среди княжеств Северо-Восточной Руси не сложился. Князя Андрея другие князья не поддержали. Близость Северо-Восточной Руси к степи, где господствовали кочевники, увеличивало угрозу монголо-татарского вторжения, и это обстоятельство парализовало волю большинства местных князей. Полная разобщённость русских княжеств, страх перед поработителями и открытое соперничество их правителей, надолго отсрочили начало активной освободительной борьбы.
А теперь попытаемся выяснить, действовал ли Андрей Ярославич безрассудно, собирая силы для вооруженной борьбы с монголо-татарами, или учитывал сложившуюся обстановку, трезво оценивая свои силы и надеясь на успех. Для начала борьбы с захватчиками в тот период на Руси сложились определённые предпосылки. Прошло полтора десятка лет после монгольского нашествия. На Руси стала возрождаться мирная жизнь, налаживалась хозяйственная деятельность. Заново отстраивались города и возрождались села. Из молодых людей, полных решимости отомстить поработителям за гибель своих отцов, было собрано новое войско. К тому же для открытого выступления Андрей создавал сильный военный союз, и не его вина, что его смелые идеи не нашли понимания у многих русских князей. Кроме того, в самой Золотой Орде произошли серьёзные изменения. У золотоордынских ханов уже не было в подчинении всей монгольской армии. Потомки Чингисхана вели жестокую борьбу за власть. В частности, ханы Золотой Орды воевали со своими сородичами правителями Ирана иль-ханами за Северный Кавказ. Сумей Андрей Ярославич сплотить всех князей Владимиро-Суздальской земли и, при поддержке Новгорода и Галицко-Волынского княжества, его выступление против захватчиков имело бы серьёзные шансы на успех. Однако этого не произошло. Его политика открытой конфронтации с Золотой Ордой, не получила широкой поддержки и закончилась полным крахом. Получив известия о готовящемся выступлении русских князей, татары нанесли упредительный удар. После чего, долгие годы на Руси не было целенаправленного сопротивления захватчикам. Имели место лишь единичные стихийные народные выступления. В то же время, по мнению некоторых историков, возможно, мятеж князя Андрея, и побудил монголо-татар идти на компромисс в вопросах сотрудничества с лояльными русскими князьями в противовес открытому вторжению или окончательному подчинению русских земель. Сам же князь Андрей Ярославич, потерпев поражение и помыкавшись на чужбине, за морем, чтобы вернуться на родину и получить прощение был вынужден не только признать верховенство старшего брата Александра Невского, но и воспринять предложенную им концепцию непротивления, а сотрудничества с Золотой Ордой. Этой политики придерживались и его потомки, избегая всякой конфронтации с монголо-татарами.
