Явившись с войском в Италию, Карл разбил Манфреда при Беневенте (1266 г). Манфред погиб, после чего Сицилия и Неаполь перешли во французское владение. Новым королем Обеих Сицилии стал Карл Анжуйский. Французы толпами стали покидать свою родину и тысячами переселяться в новые владения Карла, где в целом условия для жизни были прекрасны.

Вскоре после этого ясно проявилось отношение Карла к Византии. Он с согласия и в присутствии папы заключил в Витербо, небольшом итальянском городке на севере от Рима, с изгнанным латинским императором Балдуином II договор, по которому последний передал Карлу право на верховную власть над всеми франкскими владениями в прежней Латинской империи, выговорив себе лишь Константинополь и несколько островов в Архипелаге, для отвоевания которых от ромеев ему должен был помочь Карл. Нормандские притязания на Византию снова таким образом ожили в полной мере при французском владычестве в королевстве Обеих Сицилий.

Михаил VIII, понимая всю грозу надвигавшейся против него опасности, прибегнул к целому ряду искусных дипломатических шагов. С одной стороны, путем переговоров с папой об унии между восточной и западной церквами, Михаил как бы отвлекал его от тесного сотрудничества с Карлом и заставлял желать примирительного направления в отношении к Византии. С другой стороны, Михаил решил примириться с генуэзцами, которые, как было упомянуто выше, имели намерение, вступив в сношения с Манфредом Сицилийским, передать Константинополь латинянам, за что и были изгнаны из столицы. Генуэзцы получили разрешение вернуться в Константинополь, где им был отведен определенный квартал не в самом городе, а в его предместье Галате, по ту сторону Золотого Рога. Последнее обстоятельство не помешало генуэзцам возвратить себе все прежние торговые привилегии, расширить сферу своей торговой деятельности и оттеснить на второй план своих соперников венецианцев. Один генуэзец, например, из фамилии Цаккариа, получив от императора право на разработку богатейших квасцовых залежей в горах около малоазиатского города Фокеи (по-итальянски Фоджа, Фолья), лежащего при входе в Смирнский залив, создал себе колоссальное состояние. В результате на всем византийском Востоке при Палеологах Генуя заняла место Венеции.

Между тем, Карл Анжуйский занял остров Корфу, сделав этим первый шаг в выполнении своего плана нападения на Византию. Тогда Михаил VIII, в видах большей успешности своей согласительной политики с папой и в надежде хоть несколько повлиять на наступательную в отношении Византии политику Карла Анжуйского, обратился к брату последнего, французскому королю Людовику IX Святому, наиболее благочестивому, справедливому и уважаемому государю того времени, которого, незадолго до обращения к нему Михаила, уже просила Англия в качестве третейского судьи решить сложные вопросы английской внутренней жизни. Обстоятельства складывались так, что Людовик IX снова приглашался в роли посредника сыграть важную роль на этот раз в истории Византии. В конце шестидесятых годов византийские послы прибыли во Францию «в виду предстоящего объединения Греческой и Римской церкви». Михаил предложил французскому королю «быть арбитром условий объединения церквей и заранее заверил его в своем полном согласии».

Известно, что вначале Людовик IX не одобрял решения его брата Карла завоевать Южную Италию, и только позднее он как бы примирился со свершившимся фактом, по всей вероятности, потому, что его успели убедить в полезности этого для будущего крестового похода. Кроме того, и планы Карла завоевать Византию встретили в Людовике также отрицательное отношение, так как, если бы главнейшие силы Карла были направлены на Константинополь, то этим самым они не были бы в состоянии принять должного участия в крестовом походе ко святым местам, идеей о котором был так увлечен сам Людовик. Сообщенное же Людовику через посольство решение Михаила просить выступить в качестве третейского судьи в вопросе о соединении церквей и обещание императора всецело подчиниться его решению также склоняли французского короля, ревностного католика, на сторону византийского императора.

Трудно было ожидать, что давление со стороны Людовика могло оказать действительное воздействие на воинственно настроенного брата в смысле отказа последнего от завоевательных планов на империю. Но что несколько задержало Карла в его военных действиях против Византии, это второй крестовый поход Людовика в Тунис, задевавший интересы Карла на Западе. Вопрос об отношении Карла к возникновению этого похода является спорным. Неожиданная смерть Людовика в Тунисе (1270 г.) разрушила надежды Михаила на его содействие. Византийские послы, незадолго до смерти Людовика прибывшие в Тунис для переговоров, должны были уехать обратно «с пустыми, — по словам греческого источника, — от обещаний руками». Явившийся в Тунис Карл двумя блестящими победами принудил тунисского эмира заключить с ним мир на условии возмещения военных издержек и уплаты Карлу ежегодной дани, после чего он снова решил приняться за осуществление своего плана нападения на Византию. Но на обратном пути из Туниса страшная буря уничтожила большую часть флота Карла, так что он, по крайней мере, на некоторое время, казалось, был лишен возможности предпринять против Византии наступление в столь широких размерах, как он предполагал раньше.

Однако, в начале семидесятых годов Карл смог уже отправить значительное наемное войско в Пелопоннес, именно в Ахайю, где оно с успехом боролось с находившимися там императорскими войсками. Кроме того, в то же время Карл сумел утвердиться на Балканском полуострове, взяв несколько укрепленных пунктов, во главе с Диррахием (Дураццо, Драчем), по восточному побережью Ионийского моря; нагорные албанские племена покорились Карлу, и деспот Эпирский присягнул ему на верность. После этого неаполитанский король стал величать себя государем Албании (regnum Albaniae).

В одном документе он называет себя «Божьей милостью король Сицилии и Албании» (Dei gratia rex Sicilie et Albanie). В одном письме Карл пишет, что албанцы «избрали нас и наших наследников в короли и вечные владыки названного государства» (nos et heredes nostros elegerunt in reges et dominos perpetuos dicti Regni).

Итальянский историк XX века замечает в связи с этим: «Когда деятельность Карла становится лучше изученной и известной, он выступает в истинном свете, как дальний предшественник политической и гражданской независимости албанского народа, которая и в начале XX века кажется мечтой, смутным и неясным устремлением». Но Карл этим не удовлетворился. Он обратился к сербам и болгарам, в которых нашел усердных союзников. Посланники «imperatoris Vulgarorum et regis Servie» появились при его дворе. Множество южных славян стали к нему вступать на службу и переселяться на итальянскую почву. Один русский ученый, хороший знаток итальянских архивов, извлекший из них много сведений о славянах (В. Макушев), писал, что, несмотря на отрывочность сведений, «по ним можно судить о ходе славянских поселений в Южной Италии и о многочисленности славян, стекавшихся со всех сторон югославянского мира на службу Анжуйцев… Славянские поселения в Южной Италии с XIII по XV век постоянно увеличиваются: основываются новые, разрастаются старые». В одном памятнике 1323 г. в Неаполе упоминается «квартал, который называется болгарским» (vicus qui vocatur Bulgarus). Сербские и болгарские послы прибыли для переговоров в Неаполь. Отсюда видно, какая серьезная опасность угрожала Византии со стороны славяно-французских союзников. Более того, Венеция, которая занимала самое важное место в политической, экономической и торговой жизни государства Карла, была с ним в дружеских отношениях и в данный момент поддерживала его империалистическую политику на Востоке. К тому же, низложенный и ослепленный Михаилом VIII последний Никейский император Иоанн IV Ласкарь, бежав из византийской темницы, явился по приглашению Карла к его двору.

Но искусный в политике Карл встретил не менее искусного политика в лице Михаила, направившего главное внимание на папскую курию, которой он обещал соединение церквей. Папа Григорий X охотно пошел навстречу желанию императора, может быть, не столько под влиянием все усиливавшегося могущества Карла, которое также, конечно, могло его устрашать, сколько в силу своего искреннего желания установить церковный мир и единство и получить надежду на освобождение Иерусалима. Конечно, в подобной мирной политике сближения с восточной церковью Григорий X встречал целый ряд препятствий со стороны Карла, мечтавшего о насильственном подчинении императора. Однако, папе удалось убедить Карла отложить на год уже решенный поход на Византию и в это время достигнуть соединения с восточной церковью. Посланцы Михаила Палеолога на собор, который должен был собраться во французском городе Лионе, в полной безопасности прошли по владениям Карла, который снабдил их специальными охранными грамотами и провизией. В 1274 году, в Лионе была оформлена уния между папой и представителями Михаила VIII. Согласно недавно проанализированным документам ватиканских архивов, оформление унии привело в то же самое время к переговорам Григория X и Михаила VIII по поводу нового антитурецкого союза. Кардинал высокого ранга был послан в Константинополь глубокой зимою. Дата и место встречи для личных переговоров папы и императора были немедленно определены: они должны были встретиться в понедельник, на Пасху 1276 года в Бриндизи или Валоне. Однако, в самом начале года, 6 января, папа внезапно скончался и проект этот кончился ничем. Михаил, однако, почувствовал, что у него есть право надеяться на поддержку папы в его планах на отвоевание прежде входивших в состав империи областей Балканского полуострова. Действительно, Михаил открыл наступательные действия против войск Карла и его союзников и одержал над ними крупный успех, так как Карл был отвлечен в это время затруднениями с Генуей.