В начале 966 г. Оттон вернулся в Германию. Но с тех пор, как он завоевал Италию, он не мог уже надолго покидать эту страну, так как здесь то и дело возникали смуты. В октябре 965 г., после смерти Льва, по указке Оттона избрали напои Иоанна XIII. Прошло всего несколько недель, и римляне восстали против него, подвергли жестоким унижениям и заключили в одном из замков Однако узнав, что Оттон перешел через Альпы и приближается к Риму, горожане поспешно освободили Иоанна и покорились ему. Тем не менее Оттон решил не давать на этот раз спуску и примерным наказанием бунтовщиков впредь отбить у римлян охоту к мятежам. По его приказу учинили строгий суд. На Рождество двенадцать вожаков народа были повешены. Многим отрубили головы, другие были подвергнуты свирепым истязаниям и ослеплены. Некоторых влиятельных римских вельмож выслали в Германию.
Усмирив северную часть страны, Оттон стал думать о покорении южной, так как хотел соединить под своей властью весь полуостров. Пандульф, герцог Беневентс-кий и Капуанский, признал его своим сюзереном. Оттон отдал ему также герцогство Сполетское. Византийцы, владевшие южной оконечностью Италии, всеми силами противились планам Оттона. Вскоре между двумя империями началась война. В 968 г. Оттон отправил к императору Никифору II своего посла Лиутпранда с предложением заключить союз и скрепить его браком между сыном Оттона, тоже Оттоном, и дочерью уже умершего императора Романа II. Посольство это не имело успеха. Прежде начала всяких переговоров Никифор потребовал, чтобы Беневент был возвращен Византии. Уже зная о решении своего государя, византийские послы пошли на следующую хитрость: они известили Оттона, что невеста прибыла в Калабрию, и императору надо позаботиться о её встрече. Оттон отправил к условленному месту часть своего войска со многими знатными мужами. Византийцы внезапно напали на этот отряд, многих перебили и взяли в плен. Разгневанный Оттон отправил на юг Италии своё войско во главе с Гунтером и Зигфридом. Они ограбили страну, пленили многих людей, но, кажется, не смогли взять ни одного города В декабре 969 г. императором в Византии стал Иоанн Цимисхий Занятый войнами на севере и востоке, он первый предложил Оттону мир и дружбу. В 972 г. союз был скреплен браком. Сын Оттона, Оттон Младший, женился на Феофано, племяннице императора Иоанна. Апулия и Калабрия остались за византийцами.
Проведя шесть лет в Италии, Оттон в августе 972 г. возвратился в Германию. Он был уже болен, но продолжал, по своему обыкновению, переезжать из одной местности в другую. Троицу он праздновал в Миминлеве. Во время вечернего богослужения он вдруг почувствовал жар и усталость. Окружающие князья заметили это и усадили его в кресло. Император попросил причастить себя, а затем без стона, с величайшим спокойствием испустил последний вздох.
