Но избавившись от одного врага, Генрих тут же заимел себе другого, причем гораздо более грозного и опасного. Этим врагом стал папа римский Григорий VII. С утверждением его в Риме значение папской власти необычайно возросло. Он поставил себе целью освободить духовных сановников от ленной зависимости королям, воспретив инвеституру (так называлось утверждение поземельного владельца из духовного сословия в его лене, в знак чего король посылал каждому епископу после принесения вассальной присяги кольцо и посох). Григорий мечтал сделать Рим столицей всемирной духовной монархии, поставив на место императорской власти папскую, так чтобы короли были вассалами папы, повиновались ему и платили дань. В феврале 1075 г. он собрал в Риме церковный собор, на котором были строжайше запрещены симония (торговля церковными должностями) и брачная жизнь священников. Так как инвеститура давала много поводов для симонии (особенно в Германии и Ломбардии, где императоры самовластно назначали епископов, имея от этого немалый доход), то римский собор воспретил и её, предоставив только папе право назначать всех епископов. Было очевидно, что Генрих и Григорий не смогут ужиться вместе.
В Рим приходило множество жалоб на Генриха. Григорий внимательно разбирал все обвинения и не замедлил высказать своё мнение. В начале 1076 г. он отправил в Гослар своих легатов и велел Генриху в ближайший пост явиться в Рим на собор и оправдаться в преступлениях, приписываемых ему. В случае неповиновения папа грозил предать его апостольскому проклятию и отлучению от церкви. Генрих был несказанно оскорблен как самим письмом, так и его властным тоном. В январе он собрал в Вормсе собор немецких епископов и с легкомысленной поспешностью приказал им отлучить от церкви самого папу. Собор ломбардских епископов, собравшийся вскоре в Пьяченце, подтвердил вормское постановление и объявил, что Ломбардия не будет признавать Григория папой. Но собравшийся в конце февраля большой и представительный собор епископов в Риме выразил Григорию однозначную и полную поддержку. Епископы едва не растерзали пармского священника Роланда, который осмелился объявить волю короля о низложении папы. После этого Григорий провозгласил отлученным от церкви самого Генриха.
Отлучение императора от церкви было неслыханным событием и произвело огромное впечатление. Генрих узнал о нём в Утрехте, где он праздновал Пасху. В раздражении он решил противопоставить папскому отлучению формальный акт о низложении Григория; по его требованию собор епископов в Павии объявил папу низложенным. Но Генриху хотелось, чтобы низложение было с такой же торжественностью провозглашено в Германии. Он велел немецким епископам съехаться на Троицу в Вормс, не сомневаясь, что дело будет легко доведено до конца. Но тут его ждало первое тяжелое разочарование: к назначенному сроку собралось так мало епископов, что не было никакой возможности открыть собор. Генрих встревожился и велел отложить собор до Петрова дня и рассудил перенести его в Майнц. Он сам разослал епископам приглашения, написанные уже в форме просьбы, а не приказа. Папские легаты тем временем тоже разъезжали по стране и употребляли все средства к тому, чтобы склонить на сторону Григория князей. Усилия их не остались без успеха. Могущественные герцоги Рудольф Швабский, Вельф Баварский и Бертольд Церингенский вошли в соглашение с архиепископом Залыдбургским и епископами Вюрцбургским и Пассаусским и уклонились от всяких сношений с королём. ещё более успеха папская пропаганда имела в Саксонии – тамошние жители взялись за оружие, прогнали королевских сборщиков налогов, разорили имения его приверженцев и вновь овладели королевскими замками.
Генрих с ужасом увидел, что власть ускользает из его рук. Измена присяге была освящена папой, вменена в обязанность, и прежние приверженцы покидали его. В июне на съезде в Майнце не было никого из южно-германских и саксонских князей, а среди тех, кто приехал, повинуясь зову короля, царила растерянность. Было ясно, что большинство из них скоро тоже его покинет. Генрих собрал, сколько мог, солдат и пошел против саксонцев, но те поднялись на него так единодушно, что он принужден был бежать в Богемию. Тем временем князья и епископы папской партии съехались на съезд в Ульм и решили, что обстоятельства требуют избрания нового короля. Они разослали приглашения всем остальным князьям и епископам, приглашая их 16 октября собраться в Трибуре «для восстановления мира в церкви и государстве». Огромное большинство приглашенных приехало в Трибур, и авторитет этого съезда был гораздо выше тех, какие удавалось собирать королю. Семь дней депутаты спорили о том, каким способом спасти государство от погибели. Генрих, находившийся в это время в Оппенгейме, на другом берегу Рейна, совершенно оробел. Он видел, что его покидают даже те люди, которых он осыпал милостями и считал своими верными приверженцами. Он совершенно упал духом, отбросил прежнее высокомерие и каждый день посылал в Трибур своих уполномоченных, обещая исправиться. Он, впрочем, готов был бороться до конца и потихоньку собирал в Оппенгейме войска и корабли. Не известно, что более подействовало на депутатов – униженные просьбы короля или угроза междоусобной войны, но только новый король так и не был избран. Положено было обратиться к папе с просьбой, чтобы в феврале следующего года он приехал в Аугсбург и лично разобрал дело Генриха; потом, если в течение года с того не будет снято церковное проклятие, немедленно приступить к выборам нового государя. Генрих тем временем должен был жить в Шпейере частным человеком, без всяких почестей и в совершенном удалении от государственных дел.
Генрих принял все эти условия, сложил с себя королевские регалии и поселился в Шпейере. Однако, опасаясь весьма вероятного торжества своих врагов на соборе в Аугсбурге, он решил не дожидаться папского суда, а ехать в Италию. В январе 1077 г. он отправился в путь, не имея при себе никого, кроме жены и одного немецкого дворянина, единственного сохранившего ему верность. С ним не было ни денег, ни дорожных запасов, так что иногда королю приходилось просить милостыню. Сверх того, князья заняли все проходы из Германии в Италию. Генрих принужден был пробираться через Савойю, где его теща, маркграфиня Сузская Адельгейда, дала ему несколько человек провожатых. Стояли такие холода, что Рейн замерз уже в середине ноября. Ехать по обледенелым горам было чрезвычайно трудно и опасно. В горах Це-ниса пришлось нанимать местных поселян, которые перетаскивали королеву, закутанную в воловью шкуру, с одной высоты на другую; мужчины продвигались ползком и не редко скатывались вниз по снежным уступам. Наконец, Генрих добрался до Италии, где к изумлению своему был принят с восторгом. В Ломбардии в это время распространился слух, будто император идет в Рим обуздать силой оружия гордого папу. В северных итальянских областях уже давно не любили Григория; светские владельцы оскорблены были его новыми законами, а духовенство негодовало из-за преследования симонии и введения безбрачия. Многие итальянцы, в том числе архиепископы Миланский и Равеннский, находились под церковным проклятием. Вообще, Генриху представлялся удобный случай возмутить Италию против папы, но последние события в Германии лишили его всякой надежды на успех борьбы: он думал только о примирении со своим врагом. В это самое время папа ехал в Германию на Аугсбургский съезд для суда над Генрихом; узнав о внезапном прибытии короля в Италию, он для большей безопасности свернул с дороги в укрепленный замок Каноссу, принадлежавший богатой тосканской маркграфине Матильде. Матильда пользовалась в Италии большим влиянием, в Тоскане и Ломбардии все ей повиновались. Она славилась решительным характером, благочестием и целомудрием. Генрих обратился к маркграфине, прося её о заступничестве перед папой. Григорий сначала отвергал все предложения и говорил, что дело должно решиться на предстоящем съезде. Наконец, он уступил просьбам и согласился впустить Генриха в замок. В покаянной власянице и босыми ногами вошёл король в ворота окруженного тройной стеной замка. Ему дозволили пройти во внутренний двор, но одному, без провожатых. По-прежнему держались жестокие морозы. Трое суток сряду, без сна, стоял Генрих босой во дворе замка. Все обитатели Каноссы жалели его. Маркграфиня Матильда обливалась слезами, и по её ходатайству Генриха, наконец, выпустили назад из замка. Только на четвертый день Генрих вместе с несколькими другими отлученными был введен в зал, где находился папа, окруженный кардиналами и друзьями. Король вместе с другими несчастными бросился на колени и, проливая слёзы, покаялся в грехах. Наконец, Григорий поднял всех кающихся, снял с них отлучение, дал им отпускное благословение и допустил в церковь, где совершал литургию.