Его поспешно увезли, а услужливые друзья Оливареса, пожимали плечами и говорили:

– Бедняга сошёл с ума!

На следующий день Луханес таинственным образом умер в заключении, и молва утверждала, что его отравили. Однако подобные возгласы Филипп IV продолжал слышать и на улицах Мадрида. А когда он однажды собирался на охоту на волков, раздались крики:

– Охотьтесь на французов, сир! Это наши худшие волки!

Всего через несколько недель после получения дурных вестей из Барселоны и Лиссабона большая часть Буэн-Ретиро сгорела дотла во время великолепного карнавала в феврале 1641 года, что дало новый повод для жалоб на Оливареса.

– Это место было проклято, – говорили ворчуны.

Невосполнимую потерю драгоценных произведений искусства в результате пожара пришлось компенсировать «добровольными» пожертвованиями аналогичных вещей из частных коллекций. На восстановление дворца у депутатов кортесов потребовали 60 000 дукатов, 20 000 – у муниципалитета Мадрида, 30 000 – у Совета Кастилии и 10 000 – у Военного совета, в то время как солдатам на поле боя не платили жалованье и они голодали.

В конце 1641 года из Фландрии пришла ещё одна весть, которая снова повергла короля в уныние. Кардинал-инфант Фернандо, чьё хрупкое здоровье было подорвано постоянными кампаниями и ослаблено лихорадкой, умер в Брюсселе. Это событие сделало продолжение войны в Нидерландах более безнадёжным, чем когда-либо.

 Тем временем высокомерный Оливарес совершил одно деяние, за которое даже его собственные родственники никогда не простили его. Как известно, единственная дочь графа-герцога умерла вскоре после своего замужества, и он практически усыновил своего племянника дона Луиса де Аро, сына маркиза дель Карпио, в качестве своего наследника. Но внезапно при дворе появился молодой человек лет двадцати восьми, до того времени известный под другим именем (Хулио) и выдававший себя за мелкого правительственного чиновника в Мадриде. Теперь его звали Энрике Фелипе де Гусман, и он был представлен королю как сын Оливареса. Хотя этот бастард не отличался ни воспитанием, ни красивой внешностью, и его образ жизни был далёк от идеального, министр был без ума от него. Следуя своим собственным наклонностям, его сын женился на даме из хорошей семьи в Севилье, но Оливарес имел на него более высокие виды и, приложив огромные и дорогостоящие усилия, добился признания брака сына недействительным. Но как бы граф-герцог не благоволил к своему бастарду и как бы щедро Филипп не наделял его по просьбе своего фаворита различными званиями, деньгами и должностями, ни знать, ни даже родственники графа-герцога не считали его равным себе. Всеобщее недовольство министром ещё больше усилилось, когда Оливарес добился от коннетабля Кастилии, герцога Фриаса, руки его дочери для Энрике Фелипе де Гусмана. По поводу чего один из поэтов с улицы Майор написал следующую эпиграмму:

Вы видите здесь великого вождя Веласко,

Для которого нет ничего слишком мерзкого.

Тем не менее, если бы Оливарес узнал его имя, поэту бы не поздоровилось. Как это произошло с Франсиско де Кеведо, бичевавшим порок в своих сатирах. Пока он не критиковал Оливареса, никто не осмеливался его трогать. Но однажды король обнаружил под своей салфеткой за ужином «Ужасный мемориал», написанный Кеведо, который начинался следующим образом:

Радуйся, Филипп, король, который

В страхе неверных заставляет бодрствовать!

Но из-за твоего собственного глубокого сна

Никто не любит и не боится тебя.

Проснись! О, король, все видят, что

Твоя корона на челе льва,

Твой сон годится разве что для сони…

Наградой поэту стала тёмная и грязная темница, где, закованный в цепи, он просидел до падения фаворита.

Перед этим в том же, 1642 году, король узаконил двенадцатилетнего дона Хуана Хосе, родившегося от актрисы Марии Кальдерон. Подросток был доставлен в Мадрид и королевским указом признан сыном Филиппа IV.  Естественно, Изабелла была возмущена, ибо, по её мнению, это ущемляло права Бальтазара Карлоса. Она не сомневалась, что это Оливарес побудил короля легитимировать своего любимого бастарда, чтобы у министра был повод сделать то же самое со своим.

Несмотря на недовольство королевы, в честь этого события было проведено несколько грандиозных торжеств, хотя состояние дел в государстве в то время было более плачевным, чем когда-либо. Нунций Панцуоло, принявший участие в празднестве, от имени папы благословил новоявленного инфанта, но было отмечено, что Изабелла, обычно такая сердечная и обходительная, выглядела холодной и надменной, когда дона Хуана подвели поцеловать ей руку и руку Бальтазара Карлоса. Наследник же, по-видимому, по наущению матери, обратился к своему сводному брату на «ты», что было принято обычно по отношению к знати, но не к королевским особам.

Королева любила своих детей и на всё была готова ради их будущего. Сохранился любопытный рассказ некоего отца-иезуита, поведавшего одному из своих собратьев о визите в их монастырь королевской семьи, в том числе, и маленькой Марии Терезии: «Она шла со своим братом… такая крошечная, светленькая и беленькая, что была похожа на младенца Христа. Её родители, король и королева, говорили ей: «Иди же, малышка», а она, в свете множества огней и среди богатого убранства, останавливалась, изумлённая, и её мать буквально замирала от восхищения, глядя на неё… Один из монахов попросил у Филиппа IV разрешения подарить инфанте маленький подарок. «Пожалуйста, – ответил король, – подарите ей, что вам угодно». Малышка сразу же подошла – чтобы, как поняли все, взять подарок, – и ей вручили роскошный ковчег, приведший всех в изумление, а девочка, ещё более оживлённая и весёлая, чем в момент прибытия, была очень мила, рассматривая его. Мать сказала ей: «Ответь же что-нибудь святому отцу». И она сказала: «Храни Вас Господь». Тысяча благословений последовала ей в ответ, а её отец, дабы не расхохотаться, спрятал лицо».

То, что Оливарес уговорил короля узаконить Хуана Хосе, переполнило чашу терпения Изабеллы. А подобный же поступок фаворита в отношении своего бастарда вызвал ярость у знати. Таким образом, граф-герцог совершил большую ошибку, стоившую ему власти.

В 1644 году Веласкес пишет «Портрет Филиппа IV в военном костюме». Розовые блики от расшитого серебром яркого камзола с большим белым (валлонским) воротником нисколько не оживляют мертвенно-бледное лицо короля, как и его лихо закрученные усы. С глубоко запавшими глазами и отвисшей нижней челюстью его лик, помимо привычных для испанских Габсбургов черт вырождения, несёт на себе следы очевидной усталости и даже опустошённости. Миловидный зеленоглазый юноша с чувственным алым ртом бесследно исчез. Как ни странно, Изабелла на своих последних портретах кисти того же художника кажется моложе и бодрее мужа. Вероятно, потому, что и в сорокалетнем она возрасте сохранила лилейный цвет кожи и статную фигуру. Правда, её взгляд утратил свою ясность и в нём сквозит настороженность, волосы тоже потемнели (чёрный парик?), а в уголках губ застыла любезная улыбка. Она словно скованна своим пышным нарядом (с возрастом её платья становятся всё темнее), но ни в её лице, ни в позе нет отчаяния. Королева всегда готова к действию.

В сороковые годы ситуация в Мадриде ещё больше ухудшилась. Убийства и грабежи совершались прямо средь бела дня. Так, за две недели только в столице было совершено 110 убийств, причём многие из них – высокопоставленными лицами. В это время Филипп изгнал из двора трёх главных грандов Испании за то, что они ночью перелезали через стены Буэн-Ретиро и тайно занимались любовью с фрейлинами. А в апреле 1642 года Мадрид охватила паника из-за известия о том, что французы разгромили собранное с большим трудом и отправленное в Каталонию войско. Сатиры и эпиграммы сыпались со всех сторон, как осенние листья, призывая Филиппа проснуться и вести себя как мужчина. Людовик XIII, вступив на испанскую землю, осадил Перпиньян, в то время как его шурин всё ещё был занят постановкой и сочинением комедий в Буэн-Ретиро, или, для разнообразия, охотился на кабанов в Пардо. В конце концов, сама королева, хотя и была француженкой, стала со слезами умолять мужа, чтобы он возглавил армию и исполнил свой долг.