Послы, прибывшие в Орвьето в ноябре 1281 г., были приняты холодно и пренебрежительно. Они застали там не только Папу, но и Карла. Четырьмя месяцами раньше, 3 июля 1281 г., Карл и его зять, законный латинский император Филипп, встретились в Орвьето с представителями Венецианской республики и, с благословения Папы, подписали договор о «Возрождении Римской империи, узурпированной Палеологом». Совместный поход был назначен на апрель 1282 г. По слухам, Карл должен был предоставить двадцать хорошо снаряженных военных кораблей, сто малых галер и транспорт для десяти тысяч всадников и их лошадей и для еще большего количества пехотинцев. Венеция предоставляла примерно такое же количество галер и военных кораблей. К походу также должны были присоединиться войска франкского княжества Ахейи. Пизанцам Папа велел предоставить корабли, и те с неохотой согласились прислать несколько. Только Генуя отказалась вступить в союз.²⁵² Когда наконец византийские епископы получили аудиенцию, Папа обрушил на них гневные упреки в адрес их императора и всего его народа и отпустил их, вручив им копию буллы, подписанной им 18 ноября. В этой булле Папа объявлял Михаила еретиком и распространителем ереси, запретил всем христианским правителям поддерживать с Михаилом какую бы то ни было связь; к этому он добавил, что если Михаил не подчинится и не передаст свою империю Папе до 1 мая следующего года, то будет низложен и объявлен преступником.²⁵³

Уверенные в расположении Папы, Карл и его союзники не скрывали свои приготовления. Михаил уже был обеспокоен, но не ожидал такой полной перемены папской политики. Узнав о своем отлучении, он приказал исключить упоминание имени Папы из Божественной литургии и приостановил все меры, принятые им для того, чтобы навязать унию своим подданным. Но, несмотря на все свои недостатки, Михаил был искренним человеком. Он считал, что обязан придерживаться политики унии до конца своих дней, все еще надеясь, что когда-нибудь Папа может проявить больше понимания. А пока он приготовился к надвигающейся грозе.²⁵⁴

Она уже разразилась в Албании. Там в 1280 г. Карл захватил Бутринто у деспота Эпирского и отправил войска во главе с одним из самых доверенных своих полководцев, Гуго де Сюлли, по прозвищу Рыжий, в глубь страны. В течение осени 1280 г. эта армия отбросила византийцев в Берат. Осада Берата началась в конце сентября. Правитель Берата, Михаил Ангел, был родным братом незаконнорожденного Иоанна Навпат-раского, но в то же время он был зятем императора Михаила и был ему предан. Он попросил помощи у Константинополя. В ответ император послал такое большое войско, какое только смог, под командованием своего племянника и главнокомандующего, Михаила Тарханиота, но это войско добралось до Албании только к февралю. Тем временем Карл послал Сюлли подкрепление, включая осадные орудия, и приказал ему взять город штурмом. Гигантская скала, на которой расположен Берат, делала штурм затруднительным. Сюлли предпочел занять предместья и заставить гарнизон сдаться, заморив его голодом. Но он не смог преградить путь византийским вспомогательным войскам. Они прибыли в марте 1281 г. и встали лагерем на хорошей оборонительной позиции за рекой у подножия крепости. Оттуда они могли переправлять провизию и оружие на плоту через реку, а искусные скалолазы доставляли все в цитадель. В конце марта небольшой отряд Карла Анжуйского под предводительством маршала Албании, Полизи, был застигнут врасплох и уничтожен византийцами. Несколько дней спустя, 3 апреля, Сюлли сам отправился на разведку к греческому лагерю. Солдаты Тарханиота сделали вид, что отступают, и заманили его в засаду. Во время боя Сюлли, человек крупный и тяжелый, легко узнаваемый по огненно рыжим волосам, упал с лошади и был взят в плен. Часть войска Карла Анжуйского поспешила через реку на помощь своему предводителю, но когда солдаты карабкались на берег, византийцы обрушились на них сверху, и те в панике бежали. Вскоре вся армия сицилийского короля обратилась в отчаянное бегство в сторону моря. Эта победа не только освободила Берат, но и дала императору контроль над всей внутренней частью Албании и северным Эпиром на юг до Янины. Но Карл сохранил контроль над прибрежными городами от Дураццо до Бутринто и Химары.²⁵⁵

Плененного рыжеволосого гиганта провели в цепях по улицам Константинополя; Михаил так обрадовался своей победе, что велел изобразить ее на фреске у себя во дворце.²⁵⁶ Помимо этой победы у Михаила было мало поводов для радости, если не считать незначительные успехи на Пелопоннесе. Князь Гильом Ахейский умер в 1278 г. По условиям его договора с Карлом, княжество перешло к дочери Гильома Изабелле и ее мужу, сыну Карла Филиппу, и Карл начал править от их имени. Он направил в качестве своего бальи и генерального наместника француза Галерана д'Иври. Галеран в течение последних шести лет был сенешалем на Сицилии, где успел снискать всеобщую неприязнь. Не большего успеха он добился и на Пелопоннесе. Местная франкская знать была оскорблена его высокомерием. Он заполнил администрацию своими друзьями. Его войска безнаказанно разграбляли греческие деревни по всему княжеству. Его единственный поход на византийские земли на юго-востоке потерпел серьезную неудачу в ущельях Скорты в горах Тайгет. В 1280 г. делегация ахейских аристократов отправилась в Неаполь, чтобы настоять на отзыве Галерана. Следующим генеральным наместником стал Филипп де Лагонесс, который проявил себя как не очень удачливый военачальник в Пьемонте. Он повел себя более тактично по отношению к местным аристократам, но у него возникли некоторые трудности с тем, чтобы убедить их предоставить войска для большого похода на Константинополь. Византийские же земли на полуострове были пока оставлены в покое.²⁵⁷

Командующий флотом Карла в Эгейском море, Марко II Санудо, герцог Наксоса, служил Карлу не лучше. Он использовал корабли Карла, чтобы пиратствовать, причем с гораздо большим успехом грабил не греческие, а латинские суда, поскольку те не ожидали, что он на них нападет. Тем не менее он был готов участвовать в походе на Константинополь.²⁵⁸

Новые дипломатические проблемы перевесили успехи политики Михаила в Греции. В Болгарии его племянница, царица Мария, которая была яростной противницей его религиозной политики, в 1279 г. отошла от дел. В 1277 г. с ее мужем, Константином Асенем, произошел несчастный случай во время верховой езды, и он серьезно пострадал. Тогда она убила своего пасынка, наследника Константина, чтобы обеспечить наследование своему собственному сыну, Михаилу. Но еще до конца года увечный царь был свержен и убит во время народного восстания под предводительством крестьянина Ивайло. Мария, после некоторых колебаний, вышла замуж за Ивайло, возвела его на трон и вскоре подчинила своему влиянию. Император Михаил послал армию, чтобы вместо Ивайло посадить на трон внука Константина Асеня, Ивана, бежавшего в Константинополь. Войска императора были разбиты, тогда он обратился за помощью к Ногаю, предводителю татар в русских степях, который был женат на внебрачной дочери Михаила. Ногай вторгся в Болгарию. Ивайло был пленен в начале 1279 г., а несколько месяцев спустя Мария и ее сын, Михаил Асень, сдались и были отправлены к императору. Иван Асень был возведен на престол, и ему в жены отдали дочь Михаила, Ирину. В Болгарии, однако, продолжались беспорядки, организованные аристократом Георгием Тертерием Раковским. По совету Византийского императора новый царь предложил свою сестру в жены Георгию, который согласился на брак, но сразу же начал интриговать против своего шурина. В то же время Ивайло вернулся в надежде вернуть себе трон при поддержке татарской армии. Царь Иван бежал с женой в Константинополь, чтобы попросить помощи у своего тестя; но Михаил Палеолог, потрясенный трусостью своего зятя, отказался его принять. Тогда Иван отправился к татарскому двору в надежде, что жена Ногая, его свояченица, поможет ему. Там он обнаружил Ивайло, который понял, что один он не сможет справиться с Георгием. Ногай вел переговоры с обоими просителями, а затем решил избавиться от обоих. Ивайло был убит, но Ивана Асеня предупредила свояченица. Он вернулся в Константинополь, где император сменил ревность на милость и пожаловал ему пост в имперской государственной иерархии. Тем временем Георгий Раковский, прекрасно понимавший сложившуюся дипломатическую ситуацию, отправил посольство в Италию, сообщив Карлу Анжуйскому, что он готов вступить с ним в союз, а также намекнув, что он может подчинить болгарскую церковь Риму.²⁵⁹