Когда по Риму разнеслась весть об аресте папы, народ взялся за оружие. На рассвете 13 февраля римляне внезапно атаковали немецкий лагерь возле собора святого Петра. Начался жестокий бой. Генрих вскочил полуодетый на коня и поскакал по мраморным ступеням церковного крыльца. Сразив нескольких врагов, он упал и непременно погиб бы, если бы миланский граф Оттон не уступил ему своей лошади. В течение всего дня римляне мужественно нападали на короля и теснили его солдат, но к вечеру на помощь Генриху подошли свежие силы из-за города. Немцы опрокинули горожан, преследовали их и даже некоторое время осаждали замок святого Ангела. Бой продолжался и на следующий день. Вскоре Генрих понял, что не сможет удержаться в городе. В ночь с 15 на 16 февраля он отступил за стены, уводя своих пленников. С Пасхалия сорвали все папские регалии, связали веревками и погнали вперед ударами копий. Этот позор разделили с папой 16 его кардиналов. На протяжении двух месяцев немцы жестоко разоряли окрестности Рима, а горожане тщетно старались призвать на помощь старых союзников папы – тосканскую маркграфиню Матильду и норманнов из Южной Италии – никто из них даже не сделал попытки освободить Пасхалия. Наконец, упорство папы было сломлено. 11 апреля на реке Анио был заключен новый договор. Папа отказался в пользу короля от инвеституры и обещал никогда не мстить за сделанное ему насилие, не отлучать Генриха от церкви и короновать его по прежнему церемониалу. Взамен король освободил папу и других пленников и согласился просить у него прощения, чтобы восстановить снова честь римской церкви. 13 апреля Пасхалий торжественно короновал Генриха в соборе святого Петра. Вслед за тем, устроив по своему усмотрению церковные дела в Ломбардии, Генрих возвратился в Германию.
Уже на следующий год императору пришлось бороться со смутами и мятежами в собственной стране. Оплотом недовольных стала Саксония. Прибывший из Венгрии папский легат Дитрих возбудил против Генриха все духовенство. Из влиятельных германских князей только Вельфы и Гогенштауфены сохранили верность императору. Конраду Гогенштауфену Генрих отдал Восточную Франконию. Его брат Фридрих уже был герцогом Швабским, а Вельф – герцогом Баварским. Поручив им войну в Германии, Генрих сам поспешил в Италию. Здесь в июне 1115г. умерла маркграфиня Тосканская Матильда, завещав все свои огромные владения папскому престолу. Император оспорил это завещание на том основании, что Матильда не могла распоряжаться императорскими ленами, которые должны были вернуться после её смерти в государственную собственность. В начале 1116 г. Генрих перешел через Альпы, и был торжественно принят в Венеции. Утвердив свою власть в Северной Италии, он весной 1117 г. пошел на Рим. Не дожидаясь его, Пасхалий уехал в Монте-Кассио под защиту норманнов. Римляне встретили императора торжественной процессией, в которой, однако, не участвовал ни один из римских кардиналов или епископов. Отпраздновав Пасху, Генрих уехал в Тоскану. Пасхалий вернулся в Рим, где и умер в январе 1118 г. Новый папа Геласий II был избран без согласия императора. Генрих немедленно пошел на Рим и, вступив в город, велел выбрать папой своего приверженца архиепископа Брагского Бурдина, который принял имя Григория VII1. В ответ Геласий собрал собор в Капуе, отлучил от церкви антипапу и самого Генриха. Император, не обращая на это внимания, утвердив Григория в Риме и назначив нового маркграфа в Тоскану, возвратился на родину. Некоторое время Геласий переезжал из города в город, но так как большинство итальянцев держало сторону Григория, он уехал во Францию, где и умер в 1119 г. Кардиналы, последовавшие за ним в изгнание, избрали нового папу – Гюи, архиепископа Вьеннского, который принял имя Каликста II. Между тем в Германии, где братья Гогенштауфены ещё поддерживали равновесие, в отсутствие императора продолжались страшные оеспорядки. Архиепископ Альберт Майнцкий созвал в Вюрцбурге съезд, чтобы при содействии саксонцев низложить Генриха, но не успел ничего сделать. Сначала император старался отомстить противникам страшными опустошениями их земель. Однако вскоре увидел, что ничего не добьется до тех пор, пока будет находиться в ссоре с Каликстом. Он стал искать путей для соглашения, тем более что позиции сторон, казалось, сблизились.
Одной из первых мер нового папы была попытка примирения с немецким королём. Он послал к Генриху двух французских духовных, епископа Шалонского и аббата Клюни, чтобы условиться с ним о восстановлении мира и заключении конкордата. Первый из них, встретившись с императором в Страсбурге, предложил Генриху компромисс, вследствие которого по одной из статей конкордата в пользу императора были сохранены все обязательства духовных вельмож к императору, проистекавшие из прежней формы инвеституры. Генрих отвечал, что при этом условии он готов отказаться от инвеституры. Созванный в Реймсе собор должен был подтвердить условия примирения. Папа совсем уже было собрался ехать на встречу с императором, но тут возникли новые затруднения. Два дня шли переговоры, которые не привели к соглашению. Тогда Каликст возвратился в Реймс и снова торжественно отлучил императора от церкви. Епископы и аббаты с восковыми свечами в руках должны были встать со своих мест, папа произнес проклятие против Генриха, антипапы и их приверженцев. Когда он, следуя в своём гневе воззрениям Григория VII на папское право, разрешил от присяги даже подданных Генриха, все присутствующие хором повторили формулу проклятия и бросили свечи на пол. Это случилось в октябре 1119 г.
После этого вся Северная Германия с новой силой поднялась против Генриха. В 1120 г. он изгнал враждебных ему епископов из Вор-мса и Шпейера, а затем подступил к Майнцу. С падением этого города он мог господствовать на всем течении Рейна. На помощь Майнцу подошли саксонцы. В июне 1121 г. враждующие армии встретились, но обе стороны уже так устали от десятилетней (а фактически пятидесятилетней) войны, что не спешили вступать в бой. Затем начались переговоры. Было решено предоставить решение спора суду 12 князей, выбранных обеими сторонами, и по прошествии трёх месяцев объявить их приговор на съезде в Вюрцбурге. В то же время весной 1120 г. папа Каликст приехал в Италию. Заручившись поддержкой норманнов, он через год подошел к Риму. Григорий VIII бежал в Сутри и после непродолжительной осады сдался. Он был заключен в темницу и находился там до самой смерти. Отправляясь на вюрцбургский съезд, Генрих уже знал о несчастной судьбе своего ставленника. Это заставило его быть более сговорчивым. После совещаний, продолжавшихся целую неделю, в Вюрцбурге, наконец, были выработаны условия мира: все королевские имения и доходы должны остаться за королём, все церковные – за церковью; похищенная собственность должна вернуться прежним владельцам; что касается инвеституры, то вопрос о ней должен быть решен большинством голосов на особом имперском съезде. В 1122 г. светские и духовные князья собрались в Майнц, куда папа прислал своих легатов. Здесь в октябре был согласован окончательный договор между папой и императором, положивший предел полувековой борьбе между ними. По этому договору император отказался от инвеституры, дозволил духовенству свободно избирать духовных сановников и обещал возвратить церкви все отнятое у неё имущество. Папа согласился, чтобы выбор епископов и аббатов происходил в присутствии короля или его уполномоченных, которые не будут употреблять ни подкупа, ни насилия. Договор постановлял, что духовный сановник, избранный в Германии, должен затем получить от короля ленные владения через вручение ему скипетра, при этом он давал клятву соблюдать обязанности вассала и только после этого рукополагался в сан. В других частях империи (например, в Италии) избранный духовенством сановник сначала должен был рукополагаться в сан, а потом получать ленные владения и приносить присягу. 23 сентября на широкой равнине рейнского берега у Вормса, при стечении множества народа император и папские легаты взаимно поклялись соблюдать заключённый договор, который вошёл в историю под названием Вормского конкордата. Император был снова принят в лоно церкви, и было провозглашено полное прощение и забвение всего прошлого.
