Проблемы Мэдисона были не только политическими, но и военными, в них участвовала его собственная партия, республиканцы Джефферсона[145] и его кабинет. Даже в поражении, военный министр Армстронг представлял политическую фракцию, к которой Мэдисон должен был относиться с осторожностью, — провоенных республиканцев Нью-Йорка. Поэтому президент милостиво разрешил Армстронгу уйти в отставку вместо того, чтобы уволить его; Армстронг отплатил за внимание Мэдисона годами упреков.[146] Мэдисон перевел соперника Армстронга, Джеймса Монро, в Военный департамент, создав вакансию в Государственном департаменте, которая осталась незаполненной, и Монро выполнял обе работы до изнеможения. Министерствам финансов и военно-морского флота также требовались новые главы, но снова оказалось трудно найти подходящих кандидатов, готовых выполнять столь неблагодарную работу. Престиж федерального правительства упал настолько низко, а перспективы победы в войне стали настолько сомнительными, что мало кто из политиков стремился отождествлять себя с администрацией. Власти штатов и местные органы власти, напуганные перспективой новых британских набегов на побережье, теряли интерес к общей стратегии войны и концентрировались на собственной обороне, даже игнорируя федеральные полномочия. В каком-то смысле их действия были оправданы, ведь успешная оборона Балтимора была организована властями Мэриленда, а не федеральными властями.[147]
19 сентября 1814 года собрался Конгресс, созванный президентом на специальную сессию. Конгресс собрался в единственном общественном здании Вашингтона, которое избежало разрушения, — почтовом отделении и патентном бюро. Даже находясь в окружении обугленных свидетельств бедственного положения своей страны, избранные представители народа не могли заставить себя удовлетворить насущные потребности, которые поставил перед ними президент. Он призвал к всеобщей воинской повинности, и в ответ на это они дали разрешение на увеличение числа краткосрочных добровольцев и ополченцев штатов, уточнив, что последние не должны служить за пределами своего или соседнего штата без согласия своих губернаторов. Недавние попытки Казначейства взять кредит не увенчались успехом, и президент попросил создать новый национальный банк, чтобы правительство могло собрать деньги на войну и восстановить рухнувшую финансовую систему страны. После долгих дебатов конгрессмены заменили законопроект бумажными деньгами, на который Мэдисон был вынужден наложить вето. Они даже заспорили о щедром предложении Томаса Джефферсона продать свою великолепную библиотеку федеральному правительству в качестве замены утраченной Библиотеки Конгресса. Законодатели провели расследование падения Вашингтона в Конгрессе и доставили Мэдисону ещё больше неприятностей, обсудив предложение перенести столицу страны обратно в Филадельфию на том основании, что она будет более пригодна для обороны в военном отношении. (Это изменение лишь незначительно проиграло в Палате представителей — 83 против 74.) Одним словом, Конгресс подверг образцовое терпение Мэдисона суровому испытанию. «Сколько бед во всех отраслях наших дел» произошло из-за отсутствия сотрудничества с конгрессом, — жаловался он одному из бывших президентов.[148]
Номинально Республиканская партия Мэдисона имела значительное большинство в Конгрессе. На самом деле партийная дисциплина была невелика, а республиканцы на протяжении всей войны были сильно раздроблены. Как только летом 1812 года пришло известие о том, что британцы отменили свои постановления в Совете, ограничивающие американскую торговлю, республиканцы в Конгрессе разделились во мнениях относительно целесообразности продолжения войны только ради сопротивления импрессингу. Спикер Палаты представителей Лэнгдон Чевес из Южной Каролины не был другом администрации; председатель Комитета по путям и средствам Палаты представителей Джон Уэйлс Эппес, зять Томаса Джефферсона, оказался занозой в боку Мэдисона. Некоторые из законодательных лидеров, к которым президент мог бы обратиться за поддержкой, отсутствовали, служили в вооруженных силах или находились на важных дипломатических миссиях, как Генри Клей за океаном, пытаясь договориться о мире. Конгрессмены, называющие себя «старыми» республиканцами, оставались такими упрямыми приверженцами своей философии малого правительства, низких налогов и прав штатов, что никакие чрезвычайные ситуации не могли их переубедить, хотя президент принадлежал к их собственной партии. Даже друг и наставник Мэдисона Джефферсон встал на сторону своего зятя и выступил против предложенного второго национального банка; это был один из немногих случаев, когда Джефферсон и Мэдисон не сотрудничали друг с другом. Партия меньшинства, федералисты, были естественными друзьями национальной власти, но в сложившейся ситуации они вели себя как самые обструкционистские из всех противников Мэдисона. Горячо враждуя с администрацией, которая разрушила их торговлю и уничтожила финансовую систему Александра Гамильтона, они не собирались предоставлять помощь для ведения войны, которую они осуждали.[149]
После провала в Вашингтоне оппозиция федералистов против войны усилилась. Федералисты Массачусетса и Коннектикута отозвали своих ополченцев с федеральной службы. С 15 декабря по 5 января в Хартфорде (штат Коннектикут) проходил съезд штатов Новой Англии, организованный федералистами, который втайне обсуждал, какие шаги предпринять в ответ на кризис. Через неделю после закрытия съезда его отчет был опубликован 12 января — по совпадению, в день национальной молитвы, поста и смирения. В воздухе витали предположения о том, какое решение может принять съезд: Сецессия и переговоры о сепаратном мире с британцами казались вовсе не немыслимыми. Но на самом деле на Хартфордском съезде преобладали умеренные федералисты во главе с Гаррисоном Греем Отисом, и его результаты, когда они стали известны, оказались менее угрожающими, чем опасались республиканцы. Протестуя против того, что администрация пренебрегала защитой Новой Англии, отвлекая военные силы на неудачные вторжения в Канаду, съезд попросил позволить штатам взять на себя ответственность за собственную оборону, получая при этом некоторые федеральные доходы, чтобы помочь оплатить расходы. В остальном делегаты просто повторили стандартные жалобы федералистов Новой Англии и призвали внести поправки в Конституцию для их устранения. В числе их претензий было положение Конституции, позволяющее рабовладельческим штатам получить дополнительное представительство в Конгрессе для трех пятых людей, которых они держали в собственности. (Только благодаря этому положению Джефферсон победил Джона Адамса на выборах 1800 года, отстранив федералистов от власти). Другие поправки требовали большинства в две трети голосов в конгрессе для объявления войны, введения эмбарго на торговлю или принятия новых штатов. Президенты должны были быть ограничены одним сроком и не могли быть выходцами из того же штата, что и их предшественник. Федеральные должности должны были занимать только уроженцы страны (в Новой Англии в то время было относительно мало иммигрантов). Говорят, что, прочитав эти рекомендации, Мэдисон громко рассмеялся[150] — рефлекс, который мог выражать либо его облегчение, либо признание политической невозможности принятия таких поправок. Несмотря на то что авторы-федералисты подверглись серьёзной критике как в своё время, так и впоследствии, резолюции Хартфордского конвента в конечном итоге оказались менее опасными для федерального союза, чем резолюции Кентукки и Вирджинии 1798 года, которые выступали за признание федеральных законов недействительными на уровне штатов. Только одно действие Хартфорда представляло собой даже потенциальную угрозу: если война продлится до июня следующего года, решили делегаты, следует созвать ещё один съезд в Новой Англии, предположительно для поиска более радикальных средств защиты.[151]