Итак, Сильвестр и Адашев сошли со сцены, но у них осталось немало приверженцев и сторонников. Последние нашли бы, может быть, средства примирить с ними царя. Но тут случилось обстоятельство, сделавшее невозможными это примирение и возврат к прежним отношениям.

Тринадцать лет Иоанн наслаждался полным семейным счастьем с Анастасией, которую горячо любил; тринадцать лет Анастасия была ангелом-хранителем своего державного супруга, укрощая и сдерживая его пылкие страсти. Она цвела здоровьем и молодостью. Но в июле 1560 года она занемогла тяжкою болезнью, усилившуюся вследствие испуга. В сухое время, при сильном ветре, загорелся Арбат; тучи дыма с пылающими головнями неслись к Кремлю. Иоанн «с великою нужею» вывез больную царицу в село Коломенское; сам тушил огонь, подвергаясь величайшей опасности. Этот пожар возобновлялся несколько раз; многие люди лишили жизни или остались изувеченными. Царице от страха и беспокойства сделалось хуже: к отчаянию супруга и великой скорби всех русских, она скончалась 7 августа в 5 часу дня. Когда тело первой царицы московского государства несли для погребения в девичий Вознесенский монастырь, народ не давал пути ни духовенству, ни вельможам, теснясь к гробу. Все плакали, и всех неутешнее бедные нищие, называя почившую своею матерью. Когда им хотели раздавать обычную в таких случаях милостыню, они отказывались от неё, чуждаясь всякой отрады в этот день великой всеобщей печали. Иоанн шёл за гробом, ведомый под руки братьями Юрием и Владимиром Андреевичем и молодым царём казанским Александром. Он стенал и рвался от сильной горести. Один первосвятитель, сам обливаясь слезами, дерзал напоминать ему о твёрдости христианина.

Со смертью Анастасии Иоанн, по выражению Карамзина, «лишился не только супруги, но и добродетели». По смерти её, говорит летописец, «как будто великая буря поднялась в сердце царя, прежде тихом и благостном, и многомудрый ум его изменился на яростный нрав». Понятно, что с потерей любимой супруги царю стали ненавистны те, которые не любили её при жизни. Этим воспользовались «презлые ласкатели», особенно братья царицы, и стали шептать царю, что Анастасию извели своими чарами лихие люди, Сильвестр и Адашев. Иоанн, уже предубеждённый против своих бывших любимцев, легко поддался внушениям их врагов. Узнав от своих друзей о взводимом на них обвинении, Сильвестр и Адашев посылали письма к Иоанну, просили и чрез митрополита, чтобы их лично призвали на суд. Но враги не допустили до этого. «Если ты, царь, — говорили ему, — допустишь их к себе на глаза, они очаруют тебя и детей твоих; да, кроме того, народ и войско любят их, взбунтуются против тебя и нас перебьют каменьями. Хотя бы этого и не случилось, они опять обойдут тебя и возьмут в неволю. Эти негодные чародеи уже держали тебя как будто в оковах, повелевали тебе в миру есть и пить, не давали тебе ни в чём воли — ни в малых, ни в больших делах. Не мог ты ни людей своих миловать, ни царством своим владеть. Если бы не было их при тебе — таком славном, храбром и мудром государе, если бы они не держали тебя как на узде, то ты бы почти всею вселенною обладал. А то они своим чародейством отводили тебе глаза, не давали тебе ни на что смотреть, сами желали царствовать и всеми нами владеть. Только допусти их к себе, тотчас тебя ослепят! Вот теперь, отогнав их от себя, ты истинно пришёл в свой разум, открылись у тебя глаза; теперь ты — настоящий помазанник Божий; никто иной — ты сам один всем владеешь и правишь».

Собраны были духовные и светские сановники судить Сильвестра и Адашева. Всего более ярились против Сильвестра Вассин, Чудовский архимандрит Левкий и Мисаил Сукин. Епископы, завидовавшие возвышению Сильвестра, примкнули к врагам его, когда увидели, что и царю угодно, чтобы все выказали себя противниками павшего любимца. Один митрополит Макарий с благородною смелостью заявил, что нельзя судить людей заочно и что следует выслушать их оправдание. Но угодники царя завопили против него: «Нельзя допускать ведомых злодеев и чародеев: они царя околдуют и нас погубят». Собор осудил Сильвестра на заточение в Соловки: его взяли из Белозерской пустыни и отвезли туда на тяжёлое заключение. Впрочем, положение его не могло быть очень тяжёлым в Соловецкой обители, игуменом которой был Филипп (впоследствии митрополит), человек, сходившийся в убеждениях с бывшим главою правительства. С этих пор имя Сильвестра уже не встречается в памятниках того времени.

Вместе с падением Сильвестра постиг конец и Адашева. Сначала ему велено было оставаться в недавно завоёванном городе Феллине, но вскоре царь приказал привести его в Дерпт и посадить под стражу. Через два месяца после своего заключения он заболел горячкою и скончался. Смерть избавила его от дальнейшего мщения царя, но клеветники распустили слух, будто он от страха отравил себя ядом. «Изменник твой отравился», — говорили они царю. Долговременная близость его к царю и управление государственными делами давали ему возможность приобрести большие богатства, но он не оставил после себя никакого состояния: всё, что приобретал, он раздавал нуждающимся.

С удалением строгих и докучных порицателей Иоанн изменил прежний образ жизни: он как будто вырвался из тесного заключения на свободу. Опека Сильвестра давно уже была ему не по душе, но его сдерживала пугливая совесть. Поначалу он, сколько мог, сдерживал и свою страстную природу, и порывы властолюбия. Чем сильнее было это принуждение, тем неукротимее высказался теперь его страстный характер. Смерть любимой жены также давала случай разыграться подавленным страстям. При её жизни он налагал на себя обет воздержаний, трудный для его характера, испорченного с малолетства. Курбский так описывает разгульную жизнь царя по смерти Анастасии: «Начались частые пиры со многим распутством; наливали великие чаши зело пьяного питья и давали первую выпить царю, а потом и всем с ним пирующим. Пир продолжался, пока не упьются до беспамятства или до неистовства. Про тех же, которые не хотели пить, кричали царю: «Вот какой он! Не хочет веселиться на твоём пиру... вот нашёлся праведник! Наверно, он осуждает нас и над нами смеётся: он твой недоброхот, несогласный с тобою; из него ещё не вышел дух Сильвестров и Алексеев!» Так тешились они над трезвыми людьми и выливали им на головы чаши или подвергали мукам... Вместо поста, целомудренной жизни и кротких молитв, появились тогда лень и долгое спанье, а по сне зевота и головная боль с похмелья».

Когда удалены были Сильвестр и Адашев, около Иоанна образовалась пустота: люди, к которым он привык, которых любил и уважал, исчезли; к новым людям, занявшим их место, не чувствовалось уважения. В это время новый удар — Иоанн овдовел, остался совершенно одинок, остался один с своими страстями, требовавшими немедленного удовлетворения. А Иоанн был человек крайностей: переходы от зла к добру и от добра к злу были в нём очень скоры. И вот он окружил себя любимцами, которые расшевеливали его дикие страсти, напевали ему о самодержавном достоинстве и возбуждали против людей Сильвестровой партии. Главным из этих любимцев были: боярин Алексей Басманов, сын его Фёдор, князь Афанасий Вяземский, Малюта Скуратов, Бельский, Грязной и чудовской архимандрит Левкий. Они теперь заняли место прежней «избранной рады» и стали царскими советниками. Под их влиянием царь начал с 1561 года свирепствовать над друзьями и сторонниками Сильвестра и Адашева.

Сначала не было казней: со сторонников Сильвестра взяты были записи. Но скоро, заметив, что низложенная партия хлопочет о возвращении власти, царь ожесточился. Тогда начались казни. На первых порах Иоанн, впрочем, часто довольствовался заключением в монастырь или ссылкой.

Самым близким человеком к Сильвестру и Адашеву из бояр был князь Дмитрий Курлятев: его с женою и дочерьми сослали в монастырь. Князь Михайла Воротынский с семейством сослан был на Белоозеро и получал содержание на себя, семью и холопей. В 1561 году взято письменное обещание не отъезжать с князя Василия Михайловича Глинского. В 1562 году 29 человек поручились по князе Иване Дмитриевиче Бельском, что ему не отъехать ни в какие государства, ни в уделы, и за этих поручников поручилось ещё 120 человек. Но в том же году Бельский уже снова бил челом за свою вину, что преступил крестное целование и хотел бежать от государя своего. Несмотря на это, государь «холопа своего пожаловал, вины ему отдал». В следующем 1563 году Бельский с шестью другими боярами выручал другого отъезжика, князя Александра Ивановича Воротынского. В 1564 году выручен был Иван Васильевич Шереметев двойным ручательством. Курбский пишет, что Иоанн мучил Шереметева, допытываясь, где его богатство. Шереметев отвечал, что «оно руками нищих перенесено в небесное сокровище, ко Христу». Иоанн умилился, велел снять с него тяжёлые оковы и перевести в тюрьму более сносную. Иван Шереметев постригся потом в Кирилло-Белозерском монастыре. Но царь не оставлял его в покое и здесь ставил на вид игумену, что Шереметеву делают противные монастырским правилам послабления. «Сперва, — говорил Иоанн, — мы никого не казнили, а велели всем отстать от наших изменников (то есть от Сильвестра и Адашева) и не держать их сторону: в этом мы утвердили бояр крестным целованием. Но приверженцы Сильвестра и Адашева ни во что поставили нашу заповедь и свою клятву: они стали строить против нас козни, являя неутомимую злобу и непреклонный разум». Прежде всего, по словам Курбского, казнена была вдова, Мария Магдалина, с пятью сыновьями. Она была родом полька, приняла православную веру и вела строгую жизнь. Её обвинили как чародейку и согласницу Алексея Адашева. Тогда же казнены были родственники Адашева: брат Данила с двенадцатилетним сыном и тестем, Туровым, трое братьев Сатиных, которых сестра была за Алексеем Адашевым, наконец, родственники Адашевых — Иван Шишкин с женою и детьми. Пострадали, по словам Курбского, и такие лица, которые не имели сношений с обвинёнными, понёсши казнь только за своё богатство, которым хотели воспользоваться новые любимцы Иоанна.