Матвеева везли в ссылку через Новгородский Приказ, бывший до того в его ведомстве. Все жители сбегались к нему на встречу, и, видя, что прежний их благодетель всего лишён, снабжали его всем нужным на дорогу… Вскоре издержал он все сьестные припасы; у него оставалось только три сухаря. Неизбежная смерть угрожала ему и товарищам его. Великодушный Пустоозерский Воевода Тухачевский, не страшась врагов Матвеева и уважая добродетели его, поделился с ним тем, что у него было. Из шести кулей муки он дал ему три, хотя и знал, что до весны не получит никакой помощи.

Глинка С. Н. Русская история, сочинённая Сергеем Глинкою. Ч. 6. М. 1825. С. 161–162

Вслед за тем отправлены были в ссылку двое братьев царицы Натальи Кирилловны, Иван и Афанасий Нарышкины. Первого обвинили в том, что он говорил человеку, по фамилии Орлу, такие двусмысленные речи: «Ты Орёл старый, а молодой Орёл на заводи летает: убей его из пищали, так увидишь милость царицы Натальи Кирилловны». Эти слова были объяснены так, будто они относились к царю. Нарышкина присудили бить кнутом, жечь огнём, рвать клещами и казнить смертью, но царь заменил это наказание вечною ссылкою в Ряжск.

Костомаров Н. Исторические монографии и исследования. Книга III, том V. С. 154–155

Матвеев, жалуясь прежним приятелям своим на оказанную ему несправедливость, писал о том же и к самому Царю Феодору; но этих челобитен не допускали до его слуха, – придворные клевреты. Вот содержание одной из них: «Настало шестое лето страданий моих, и ты Царь, доселе не внял к вопиющему голосу холопа твоего. Болезни безпрестанныя, скорби неутешныя, горести и страх новых опал ежеминутно умаляют жизнь мою. Меня осудили на голод и наготу, – лучше бы мне никогда не родиться! В третий раз посылаю к тебе челобитную, и всё тщетно! Царь, чем я тебя прогневил? Изменник ли я, или твой недоброхот? – Боже! Ты веси человческия помышления, исповедую Тебе, если в сердце моём залегла неправда, накажи меня ещё более. Я отовсюду обнесён, поруган безчестием, – без вины виноват! В пожарах и в огне, в бунтах и на ратном поле, повсюду я с торжеством нёс жизнь свою на смерть! Мечи врагов рубили меня, изсекали на мне глубокия язвы; но нынешния, во сто крат глубже и больнее, – оне неизцелимы! Кровь свою источил, кости изсушил, и не знаю чем умилостивить тебя. Юность свою растерял на службе, а на старости лет не имею утешения! В цветущие годы иные помышляют о будущем, чтоб им без нужды провесть остаток престарелых дней – а мне и этого, не удалось. Седина моя пожинает горькие плоды земнаго счастья. Я служил с честью и выслужил: поношение, голод и слёзы. – Еслиб я, холоп твой, предвидел будущее зло, давно бы избрал себе не эту поносную, но славную смерть. Будь столько милостив, как император Тит, оплакивавший тот день, в который никому не сделал добра. Или будь подобен тому из великих государей, который возлюбив правду, велел пред своим дворцом повесить колокол, чтобы все челобитчики, изгоняемые гнусными царедворцами от очей истины, могли ударять в звон. Вот пример: один хозяин согнал со двора старую и хилую свою лошадь; она, ходя около этого колокола, зацепилась хвостом и произвела звон. Услышав, государь, повелел представить к нему просителя; увидев же лошадь, он понял ея положение и велел отыскать хозяина. Когда он явился, государь спросил у него: зачем ты согнал со двора свою лошадь? – Тот отвечал: она старая, и теперь мне не нужна. И ты стар ныне, сказал ему государь, и не нужен боле мне; пока ты мог работать, я тебя держал, а теперь ступай вон! – Так и я, Государь, – стар, и потому не нужен боле. Не я ли работал с пользою в тайных советах, не будучи ещё причтён к высокому собору государской думы? Не я ли радел о благах отечества, подавал советы ко всему доброму, по долгу совести открывал злые замыслы? Обо всём я доносил и предостерегал: носил на себе все тяжести государския, правил работу правую, а ныне чем прогневил тебя? Мы холопи твои (здесь разуметь должно и сына его), просим у Вашего высокаго престола: услышь плачевную мольбу из той далёкой страны, где безпрестанно вздыхаем и стенаем. Преклони ухо милосердия на сугубо горькослёзную долю, нежели как пишу. Двоякий страх овладевает мною: голод грозит смертью, а смерть страшит неоправданием! Я заточён на последней черте к морю; сижу под сильной и жестокой стражею; ни от кого нет помилования, ни заступления, кроме тебя, Государь. Повели разсмотреть дело моё по правде».

Терещенко А. Опыт обозрения жизни сановников, управлявших иностранными делами в России. Ч. 1. СПб. 1837. С. 121

Страдая в Пустоозерске, Матвеев всё писал и писал к Царю Феодору: «Государь! юность моя протекла в походах, в сражениях, в смертной опасности, а старость не имеет пристанища. Враги мои выдумали, будто бы я в сношении с злыми духами; они могли уловить простоту народную, но Вера наша опровергает их клевету. При деде твоём Царе Михаиле ненавистники Ильи Даниловича Милославскаго, тестя твоего родителя, разглашали, будто бы у него есть обворожённый перстень. К рассеянию народнаго заблуждения дед твой приказал сделать обыск в доме Милославскаго, но не подверг его ни суду, ни ссылке; а меня сослали без суда и изследования. Свидетельствуюсь Богом, что я служил всегда чистым сердцем, и доколе будет во мне дыхание, не забуду Веры и верности. При отце твоём укрощал я мятежи в Москве, в Коломенском, в Путивле и Переяславле, на поле ратном, на приступах и в боях кровь, моя лилась за Отечество; я не щадил жизни за престол Царский, и умираю от голода и от злобы врагов моих!»

Глинка С.Н. Русская история, сочинённая Сергеем Глинкою. Ч. 6. М. 1825. С. 162–163

Вместе с падением Матвеева многое изменилось и в житье-бытье Натальи Кирилловны и Петра. Они жили в Преображенском, в некотором отдалении от двора. Нет сомнения, что мать царевича страдала от такого пренебрежения к ней; для её сына же большая свобода и отсутствие строгого придворного этикета в Преображенском могли считаться немалой выгодой. Обыкновенно царевичи на Руси до пятнадцатилетнего возраста содержались как бы узниками в Кремле. Пётр вырастал на свежем воздухе в окрестностях столицы.

Брикнер А. Г. История Петра Великого: В 2 т. Т. 1. – М.: ТЕРРА, 1996. C.33

…Царевич Феодор, был самого слабого здравия, но лучших естества человеческого качеств. Вознеслися Милославские, ибо свойственник их царствует, хотя царь Феодор Алексеевич и более тщился быти свойственником народа российского, нежели одних господ Милославских; но как-то ни было, однако Нарышкины совсем обессилели, а царица Наталия Кирилловна, хотя и в крайнем была почтении, но комнаты её были пусты: тамо, где нет фортуны, политики не кланяются, а низкостепенные люди, взирая на высокостепенных, делают то же – некоторые ради страха, некоторые ища милости к противной стороне, отколе изливается их польза, некоторые от извычки ласкать и боготворить фортуну, хотя бы от неё никакой пользы не ожидали, а некоторые удалялися от комнат царицы Наталии Кирилловны, ради чего, и сами того не ведая, разве только на сём оснуяся: так де ныне водится. Слово «мода» было тогда в России ещё неизвестно, но действие оного слова искони у нас было: всё входило и выходило из моды; входили и выходили из моды и поклоны, тем же подобием как и ныне. А когда в комнатах царицы Наталии Кирилловны прихожих было не много, так и Нарышкины без друзей осталися, ибо друзья обыкновенно не к особам людским, но к фортуне их прилепляются: отлепится фортуна, отлепятся и друзья.

Сумароков А.П. Первый и главный стрелецкий бунт бывший в Москве в 1682 году в месяце майи / Писал Александр Сумароков. – [СПб. ]: Печатано при Имп. Акад. Наук, 1768. С. 5–6

Милославские во время царствования Феодора утесняли Нарышкиных, из них ни один не был произведён в большие чины. Даже дед царевича, Кирил Полуехтович, определённый Алексеем Михайловичем главным судиею в Приказе большого дворца, был отставлен.