Хотя гитлеровцы и сосредоточили в Восточной Пруссии значительные силы, численность их, а также обеспечение, по сравнению с войсками Красной Армии, не оставляли обороне никаких шансов на успех. Зная это соотношение сил, многие трезво мыслящие немецкие штабисты ясно представляли себе, каким будет конец битвы за Восточную Пруссию.
По расчётам советского командования план наступательной операции в этом районе выглядел следующим образом. Войска 2-го Белорусского фронта наносили удар с плацдарма, занимаемого ими по реке Нарев, и, двигаясь в северо-западном направлении на Цеханув, Млаву, Сериц, а затем — на Нидзицу, Илаву, Оструду, Мальборк, Эльблонг, развивали наступление в западном направлении с выходом к Балтийскому морю, чтобы отрезать Восточную Пруссию от Германии. Войскам 3-го Белорусского фронта ставилась задача нанести удар по 3-й танковой армии противника и стремительным, смелым манёвром выйти к крепости Кенигсберг, а также подавить сопротивление противника в северной части Пруссии.
В первых числах января 1945 года штаб генерала Черняховского закончил подготовку ударной операции в Восточной Пруссии. В оперативные планы вносились последние штрихи, заканчивалась разработка последних деталей предстоящих военных действий. Погода, однако, не благоприятствовала планируемой операции. День и ночь шёл снег, его становилось всё больше и больше.
Но вот наконец настал долгожданный день. На рассвете 12 января 1945 года войска 1-го Белорусского и 1-го Украинского фронтов после сокрушительной артиллерийской подготовки перешли в наступление.
На следующий день концентрированный удар по противнику нанесли войска 3-го Белорусского фронта под командованием генерала Черняховского. Советская артиллерия обрушила лавину огня на позиции 2-й танковой армии врага. Казалось, что артиллерийские снаряды разнесут в пух и прах не только оборонительную полосу противника, но и саму землю на глубину нескольких метров. И едва только первые солнечные лучи развеяли темноту ночи, на основном участке наступления бросились на штурм укреплений врага советские воины соединений генерал-полковника Крылова, танкисты генералов Бурдейного и Буткова, пехота генерала Галицкого. Группировка гитлеровской обороны на участке Эбенроде — Шлоссберг была необычайно сильной: полосу протяжённостью девять километров защищало три дивизии. Такого в обороне ещё не встречалось в этой войне. До сего времени немцы удерживали силами дивизии по крайней мере 10– 12-километровую полосу. Здесь на каждом километре стояло по семьдесят орудий. Но, несмотря на это, наступление развивалось, хотя дополнительные трудности в действиях авиации и артиллерии создавал туман, приползший с Балтики. В первый день наступления советские войска овладели только тремя первыми траншеями, продвинувшись вглубь всего на полтора километра. На другой день натиск усилился. Стремясь задержать его, немцы бросили в бой новые подкрепления и десятки раз переходили в контратаку. Всё новые пехотные и танковые соединения вводил в бой и генерал Черняховский. Рушились немецкие укрепления, бетонные форты, падали под ударами советских войск превращённые фашистами в крепости хутора и фольварки. Сражение шло почти за каждый дом. Часто доходило до рукопашных схваток.
14 января 1945 года с рубежей к югу от Пултуска двинулись в наступление на Восточную Пруссию войска 2-го Белорусского фронта. Были взяты города Пшасныш, Цеханув; одна часть войск наступала в направлении Насельск, Торупь, другая ломала сопротивление 2-й армии Вейса на рубеже Щитно, Оструда, Илава, направляя основной удар на Эльблонг, в сторону моря. Ничто не могло остановить продвижение советских танковых соединений под командованием генералов Панова, Фирсовича., Попова, Вольского, а также пехоты генералов Федюнинского и Гусева. Одновременно с войсками 2-го Белорусского фронта двинулись на врага с плацдармов под Пулавами и Магнушевом войска 1-го Белорусского фронта.
Прорыв обороны Восточной Пруссии и всё расширяющееся проникновение на её территорию советских войск вызвало замешательство главного командования вермахта. Гитлер, которого целиком захватили успехи наступления в Арденнах, при виде трагической ситуации на Восточном фронте, особенно на рубеже реки Вислы, откуда шёл кратчайший путь до Берлина, приказал командующему группой армий «Центр» перебросить часть сил из Восточной Пруссии в район Кельце, чтобы не допустить прорыва фронта в направлении Познани. Так из Восточной Пруссии были отведены танковый корпус «Великая Германия» и танковая дивизия «Герман Геринг». Этой операцией руководил генерал Заукен. Отвод этих двух соединений совпал с наступлением в Восточной Пруссии войск 2-го Белорусского фронта. Подвергавшийся беспрерывному обстрелу и бомбардировкам корпус Заукена с трудом смог передислоцироваться в намеченный район. Оборона Восточной Пруссии тем самым была в значительной степени ослаблена.
Командующий 4-й армией генерал Госбах, видя трагическую ситуацию на флангах своего фронта, разгром 2-й и 3-й армий и угрожающую ему в связи с этим опасность оказаться в окружении, рискнул самовольно оставить обороняемые позиции в районе Голдап, Сувалки, Августов, рассчитывая отойти за мазурские озёра и атаковать оттуда фланги ворвавшихся в Восточную Пруссию с юга советских войск. Когда Гитлер узнал от Коха о самовольном шаге Госбаха и о том, что без боя оставлена мощная прусская крепость Гижицко и полоса мазурских озёр, он объявил командующего группой армий «Центр» генерал-полковника Рейнгардта и генерала Госбаха предателями, приказав немедленно отстранить их от командования. Место Рейнгардта занял генерал-полковник Рендулич, а Госбаха заменил генерал Мюллер. Войска, сосредоточенные в Восточной Пруссии, получили название группы армий «Север». Немецкое командование всё ещё рассчитывало на то, что может повториться история прошлых боёв за Восточную Пруссию и что на полях Танненберга, как в 1914 году, один только стратегический манёвр сможет изменить весь ход войны. В своих расчётах они не учитывали, однако, того, что со времени первой мировой войны минуло уже более тридцати лет и теперь им противостояла уже не царская армия.
В течение первых пяти дней наступления войска 3-го Белорусского фронта продвинулись вперёд почти на тридцать километров. Основной натиск шёл вдоль Писы и Немана. 20 января был взят Тильзит, 21-го — Гумбинен, 22-го — Инстербург, 23-го — Лебау, расположенный тоже на берегу Балтики на расстоянии около сорока километров от Кенигсберга. Генерал Черняховский, зная о том, что район Гижицко, Венгожево хорошо укреплён, не стал атаковать 4-ю армию Госбаха, а, узнав о её отходе, нанёс удар по левому флангу. 26 января были взяты Гижицко и Кентшин с одновременным наращиванием натиска на отходящую 4-ю армию.
Получив сообщение о проникновении советских войск в глубь территории Пруссии, гауляйтер Эрих Кох отдал приказ об эвакуации гражданского населения. Прусские юнкеры навьючивали повозки, грузились на тракторы и автомашины и бесконечными колоннами двигались по шоссе, ведущим на запад. Поскольку путь уже был перерезан войсками 2-го Белорусского фронта, многотысячные толпы убегавших немцев устремились к морю, загромождая дороги, мосты и затрудняя передвижение войск.
22 января войска маршала Рокоссовского ворвались в Ольштын, заняли железнодорожную станцию и принудили начальника немецкой службы движения бесперебойно принимать эшелоны. Так удалось захватить двадцать два вражеских состава, прибывших из Кенигсберга и других городов. Когда 26 января войска 2-го Белорусского фронта взяли Толькмицко, а 10 февраля овладели Эльблонгом, непрерывно расширяя наступление на запад, немецкие войска, находящиеся в Восточной Пруссии, были обречены. Их оборона была настолько дезорганизована, что сплошь и рядом немецкие штабы не имели представления о том, где проходила линия фронта.
После многодневных ожесточённых боёв 31 января 1945 года войска 3-го Белорусского фронта сомкнули кольцо окружения вокруг Кенигсберга. Первая фаза уничтожения гитлеровцев в Восточной Пруссии была завершена.
