Так как армия ожидала приказа на отход уже в течение нескольких дней с часу на час и тщательно подготовила его выполнение, она могла начать отход немедленно. Но пока он осуществлялся, командующий армией генерал Хоссбах, не доложив подробностей в штаб группы армий, и прежде всего потому, что хотел избежать несомненного отказа Гитлера, пришел при зрелом размышлении к выводу, что оборона озерного рубежа должна была привести к окружению армии. Тогда он принял весьма ответственное решение: оставить озерный рубеж и пробиваться всей армией на запад, чтобы соединиться с 2-й армией. Он пришел к убеждению, справедливость которого была доказана последующим развитием событий, что большая часть Восточной Пруссии все равно потеряна и что любое другое решение поведет лишь к бессмысленной гибели 4-й и 3-й танковых армий. Они неизбежно должны были оказаться зажатыми в районе Кенигсберга, и маленького порта Пиллау для их снабжения в трудных условиях зимы было бы, конечно, недостаточно. Удастся ли подвести 3-ю танковую армию вдоль залива Куришес-Каф к 4-й армии или после эвакуации беженцев придется и ее перебрасывать морским путем через Пиллау, – это было еще не ясно. В полдень 22 января был отдан приказ об отходе. Решающим фактором для достижения успеха была по возможности быстрая переброска крупных сил армии на запад для осуществления становившегося совершенно необходимым прорыва. Решили провести этот прорыв четырьмя-пятью дивизиями из района Вормдитт. Кроме того, необходимо было прикрыть растянутые, фланги, которым угрожали русские соединения, на юге уже овладевшие Алленштейном, а на севере прорвавшиеся южнее реки Прегель. Приняв эти меры, командование надеялось прорваться вместе с беженцами на запад и проложить путь к Висле им и себе.
На следующее утро командующий армией доложил в штаб группы армий лишь о своем намерении перебросить крупные силы на запад, чтобы установить непосредственную связь с 2-й армией. У Рейнгардта оказывается были аналогичные планы, однако он хотел обязательно удержать крупный плацдарм по обе стороны Кенигсберга, который на юге достигал бы Хейльсбррга, а на севере охватывал бы Земландский полуостров. В принципе Рейнгардт был согласен с наступлением в западном направлении и доложил в этом духе Гитлеру. Ни тому, ни другому в этот момент не было известно о действительных планах Хоссбаха и об отходе его войск с озерного рубежа.
Вначале действия 4-й армии увенчались успехом. Продвигаясь в ледяную стужу сквозь колонны беженцев, которые, соблюдая образцовую дисциплину, освобождали войскам дорогу, дивизии следовали форсированным маршем к указанным им рубежам. Когда русские через несколько дней разгадали маневр 4-й армии,они начали оказывать на нее сильнейшее давление.С 26 января отвод превратился в отступление под сильнейшим натиском со стороны противника.
Русские прорвали оборону арьергардов на Мазурском канале и, быстро пройдя через оставленный немецкими войсками Лётцен, нанесли удар по Растенбургу. Давление, которому подвергался растянутый фланг армии в районе Алленштейна, можно было сдержать лишь ценой предельного напряжения всех сил. Кроме того, командующий группой армий, не желая эвакуировать район Кенигсберга, был вынужден передать две дивизии 4-й армии в распоряжение 3-й танковой армии, которая находилась севернее реки Прегель под угрозой окончательного разгрома. В то же время такое вмешательство штаба группы армий показало, что ее командующий отнюдь не разделял взглядов командующего 4-й армией относительно дальнейшего ведения боевых действий.
Между тем Гитлеру 24 января было доложено, что 4-я армия оставила озерный рубеж, а с нею и крепость Лётцен и быстро отступает на запад. Это донесение подобно молнии озарило обстановку, представленную ему до этого в ложном свете, и вызвало у Гитлера приступ дикой ярости. Рейнгардт, мужественно вставший на защиту своего подчиненного Хоссбаха и покрывший его проступок, был 26 января отстранен от должности. Там, где сознававшие взятую на себя ответственность люди искали последний выход из безнадежного положения, где они в конце концов шли собственными путями, чтобы спасти вверенные им войска от бессмысленного истребления, Гитлер видел только измену. Генерал-полковник Рендулич, который всего несколько дней назад сменил Шёрнера на Курляндском фронте, вступил в командование группой армий «Центр», названной теперь «Север». Хоссбах, последние намерения которого все еще оставались тайной, продолжал настойчиво осуществлять свой план. Несмотря на усиливающееся со всех сторон давление, ему удалось удержать фланги отступающей армии и в течение 26 – 29 января сдерживать русских, преследовавших его войска с северо-востока, на реке Алле севернее Алленштейна. Обеспечив это необходимое прикрытие с тыла, три дивизии начали 29 января прорыв на запад. Тем временем противник вышел к Эльбингу и Мариенбургу и окружил их. Проведенное с беспримерной энергией наступление немецких войск увенчалось полным успехом. В районе Эльбинга им удалось установить непосредственную связь с частями 2-й армии, в центре был взят Прейсиш-Холланд, на юге – Либштадт. Было подбито 200 танков противника и захвачено столько же орудий. Снова оказалось, что русское командование не в состоянии отразить такие внезапные удары. На следующий день наступление должно было продолжаться, причем предполагалось ввести три подвижных соединения, еще сохранивших довольно высокую боеспособность. Войска напряженно ожидали этого дня. Но Хоссбах был отозван со своего поста. На этот шаг Гитлера толкнула по существу предательская телеграмма гаулейтера Коха, в которой последний обвинял 4-ю армию в том, что она, совершая дезертирство, трусливо пытается пробиться к рейху, в то время как он, Кох, со своим фольксштурмом собирается продолжать оборону Восточной Пруссии. В ночь на 30 января на командный пункт армии прибыл преемник Хоссбаха генерал Мюллер. Он относился к числу генералов, выдвинутых самим Гитлером и известных беспрекословным выполнением всех приказов, какими бы ни были их последствия для войск, 4-я армия получила приказ немедленно прекратить наступление на запад, занять оборону на достигнутых рубежах и направить свои подвижные соединения в распоряжение 3-й танковой армии.
Так армии группы оказались в положении обреченных. Им пришлось вести ожесточенные кровопролитные бои, в ходе которых они пытались найти себе последнюю точку опоры на побережье Восточной Пруссии, чтобы обеспечить себе подвоз, а также прикрыть отход беженцев по косе Фрише Нерунг и эвакуацию морским путем. Кроме того, эти армии вступили в отчаянную борьбу за Кенигсберг. Последовательное проведение начатого 4-й армией наступления, вероятно, спасло бы группу армий от ее трагического конца.
Мирному населению Восточной Пруссии, которое из южных и центральных районов бросилось на запад, стремясь под защитой армии спастись за Вислой, вмешательство Гитлера также сослужило плохую службу. Теперь население было оттеснено вместе с армией на север и вынуждено искать спасения в полном ужасов бегстве через залив Фришес-Гаф и косу Фрише-Нерунг.
В то время как развертывались бои за Восточную Пруссию, армии Конева и Жукова неудержимо продвигались к реке Одер от Оппельна до Кюстрина. Когда 20 января Шёрнер принял командование группой армий «А», переименованной 25 января в группу армий «Центр», танковые части Конева вышли к старой германской границе восточнее Бреслау. В первый момент для организации обороны на Одере имелись лишь запасные части, полицейские подразделения и отряды фольксштурма, наряду с разрозненными и отступавшими в беспорядке подразделениями и частями из состава 4-й танковой армии. 1-я танковая армия и 17-я армия сумели организованно отойти южнее Вислы в Карпатах. Для прикрытия Верхней Силезии 17-я армия была в ходе отступления оттянута на северо-запад и усилена за счет отступавшей южнее 1-й танковой армии. Ослабление последней было тем чувствительнее, что остатки 1-й армии венгров, еще находившиеся в ее рядах, в ходе отступления полностью рассеялись.
В Силезии началась упорная борьба за Одер и прилегающий к нему промышленный район. Войска 1-го Украинского фронта Конева предприняли многочисленные попытки форсировать Одер в различных пунктах между Глогау и Оппельном и одновременно ворваться с севера через Гросс-Штрелиц и Тарновиц (Тарновске-Гуры) в промышленный район. Одновременно войска 4-го Украинского фронта наступали с востока на район Верхней Силезии и Моравских ворот. Здесь ослабленной 1-й танковой армии едва удалось предотвратить прорыв, который означал бы вторжение в Моравию и расшатал бы с трудом сохранявшуюся целостность немецкого южного крыла. 17-я армия вступила в ожесточенные бои за Верхнесилезский промышленный район. А в это время под землей еще продолжалась работа, и поезда с углем ежедневно отправлялись на запад. Армия лишь шаг за шагом сдавала последнюю действующую немецкую кузницу вооружения и только в середине февраля была отведена за Одер, когда ей, почти со всех сторон окруженной, стало угрожать полное уничтожение. С потерей Верхней Силезии у рейха также и в области вооружения была отнята последняя возможность продолжать борьбу в течение сколько-нибудь продолжительного времени.