Армия разделилась на две части: одна из них двинулась к Мартирополю с целью предотвращения его возможного захвата персами, другая же перешла границу и собиралась вторгнуться в персидские владения в Месопотамии. Однако персам стало известно о планах Германа, и оказавшаяся на вражеской территории византийская армия была встречена персидскими войсками под командованием Марузаса. Поняв, что внезапного вторжения не получилось и дальнейшее продолжение боевых действий чревато как минимум серьезными потерями, византийцы двинулись обратно, рассчитывая соединиться со стоявшей под Мартирополем армией для организации совместной обороны. Персы преследовали отступающих по пятам, стремясь не допустить объединения двух армий, однако это им не удалось, и под Мартирополем Марузас был вынужден вступить в сражение с объединенным византийским войском. Об ожесточенности битвы говорит тот факт, что в ней погиб сам командующий персидской армией. Она была разбита, более трех тысяч персов (включая командиров обоих флангов сражавшегося войска) оказалось в плену. Спаслось лишь около тысячи воинов, которым с огромным трудом удалось прорваться к Нисибису.
Воодушевленное одержанной победой, а еще больше — размерами захваченной добычи, византийское войско решило вернуть расположение басилевса. Маврикию была послана значительная часть добытых во время похода ценностей, попавшие в руки византийцев боевые знамена противника и, в качестве особо ценного трофея, голова Марузаса. Естественно, не был заинтересован в продолжении противостояния и сам император. Итогом стало окончательное примирение войска и Маврикия, весной 589 г. в городке Литабры при посредничестве архиепископа Антиохии Григория командиры стоявшей на востоке армии признали Филиппика своим командующим.
В то время, когда византийцы решали проблемы, связанные с преодолением последствий возникшего в армии мятежа, персам удалось добиться крупного успеха: ими был взят Мартирополь. Это случилось благодаря измене одного из авторитетных жителей города по имени Ситтас. Он вступил в тайные переговоры с персами и предложил им следующий план: под видом перебежчиков направить в Мартирополь 400 хорошо вооруженных воинов с тем, чтобы, оказавшись внутри города, они захватили его и отворили ворота остальному персидскому войску. При появлении под стенами Мартирополя мнимых перебежчиков Ситтас в свою очередь начал горячо убеждать горожан впустить персов. Предложение Ситтаса было, безусловно, заманчиво: гарнизон города получал хорошее подкрепление. Влияние Ситтаса и его доводы оказались сильнее соображений безопасности. В результате Мартирополь был внезапно и практически бескровно захвачен персами.
Узнав о захвате Мартирополя, Филиппик подступил к городу, намереваясь отбить его у персов. Сюда же подошло и персидское войско во главе с одним из представителей знатного рода Суренов, члены которого традиционно являлись военачальниками в Иране, начиная еще с парфянской эпохи (достаточно вспомнить, что парфянская армия во главе с одним из Суренов еще в 53 г. до н.э. уничтожила римское войско Марка Лициния Красса, а в последующие столетия парфянские, а затем и персидские войска под командованием Суренов неоднократно воевали с империей). Кроме того, к Мартирополю в срочном порядке была переброшена еще одна армия персов, возглавляемая Афраабом.
Разыгравшаяся под стенами Мартирополя битва носила ожесточенный характер. Ярким показателем драматизма сражения стала гибель командующего персидской армией. И хотя обе стороны понесли тяжелые потери, победа все же оказалась на стороне персов. Византийцы потерпели сокрушительное поражение.
Разгром под Мартирополем окончательно решил судьбу Филиппика. По приказу императора он был смещен с поста стратига и замещен Коментиолом. Новый командующий попытался было одним быстрым ударом расквитаться с персами за недавнее поражение, однако его поступок был явно опрометчив: в битве под Сисавраноном войска Коментиола были обращены в бегство, продолжавшееся до самого Феодосиополя. К счастью для ромеев, здесь со своим войском находился Ираклий, успешно проявивший себя еще во время службы под началом Филиппика. Усилиями Ираклия бегство византийцев было остановлено, а затем, перейдя в контрнаступление, они нанесли жестокое поражение подошедшей к Феодосиополю персидской армии. В этой битве погиб и второй командир персов — Афрааб.
Победа под Феодосиополем имела большое значение с точки зрения развития оперативной обстановки. Благодаря успешным действиям Ираклия было предотвращено продвижение крупной армии персов в глубь византийской территории и не допущен захват ряда опорных пунктов Византии на границе с Персией. Понимали это и в Константинополе. По поводу одержанной Ираклием победы в столице империи были организованы конные состязания и другие праздничные мероприятия, что в последние годы случалось нечасто.
Ормизд IV должен был принимать срочные меры для исправления ситуации на своих западных рубежах. Ответный удар было решено нанести в Закавказье. В мае 589 г. персидская армия во главе с полководцем Бахрамом Чубином (уже прославленным к тому времени успешными действиями против тюрок) вступила в Сванию. Противостоять персам было некому; как отмечает Феофилакт Симокатта, «Свания была жестоко опустошена, и зло было невыносимым; не было никого, кто стал бы ее предводителем, так как вся Колхида была лишена военного командования, как сирота своего попечителя» (Theophyl. III. 6. 8). Сложилась ситуация, грозившая Византии утратой всех своих закавказских владений. Было необходимо спешно перебросить сюда войско для отражения нападения персов. На Кавказ была двинута армия, командующим которой указом Маврикия был назначен полководец Роман.
Прибыв в Албанию и ознакомившись с обстановкой, Роман предпочел действовать как можно более осторожно. Бахрам неоднократно пытался притворным отступлением заманить византийцев в ловушку и окружить, однако Роман, несмотря на давление со стороны войска, стремившегося к быстрой победе, не поддавался на уловки противника. В конце концов, оба войска все же встретились на брегах Аракса. Первоначально армии Романа и Бахрама располагались на разных берегах реки, но после недолгих переговоров византийцы позволили персам переправиться через Араке и занять позицию для сражения.
После пяти дней напряженного ожидания битва все-таки состоялась. Оба войска построились традиционным способом, разделившись на два фланга и центр. Первыми в бой вступили византийцы, их центральный отряд ударил по противнику и начал его теснить. Опасаясь за судьбу сражения, Бахрам перебросил в центр часть войск со своего левого фланга, что стало роковой ошибкой персидского полководца: ослабленное левое крыло его армии было опрокинуто ромеями, а вскоре началось бегство всей армии.
Поражение Бахрама привело самовластного шаханшаха Ормизда в ярость. Он давно испытывал неприязнь к Бахраму Чубину и не доверял ему, подозревая его в утаивании львиной доли добычи, захваченной во время войны с тюрками, и, что еще хуже, в стремлении к захвату царской власти. В знак презрения Ормизд послал Бахраму женскую одежду и прялку, а также письмо с приказом оставить действующую армию и прибыть в Ктесифон.
Неизвестно, насколько обоснованными были опасения Ормизда по поводу царских амбиций своего полководца, однако резкий и оскорбительный для Бахрама — представителя одного из знатнейших в Иране рода Михран — поступок (не суливший ничего хорошего по прибытии в столицу) подтолкнул его к окончательному разрыву с шаханшахом. Бахрам направил царю ответное послание с оскорблениями в адрес монарха (в письме Ормизд был назван не сыном, а дочерью Хосрова). Фактически это было равносильно объявлению войны.
Армия Бахрама единодушно поддержала своего полководца. Популярность его среди воинов была и так велика; в дополнение же к этому Ормизд своим стремлением унизить Бахрама и отстранить его от командования безгранично преданным войском лишь усилил авторитет опального военачальника. Намереваясь использовать сложившуюся ситуацию в собственных интересах и разжигая с этой целью ненависть своих воинов по отношению к царю, Бахрам в публичных выступлениях обвинял Ормизда в пренебрежении собственным войском, желании наказать воинов за поражение в Албании и сократить им жалованье.