В результате нависшей над Москвой угрозы большая часть Генерального штаба была эвакуирована в Куйбышев. В Москве осталась лишь оперативная группа для обслуживания Ставки из десяти человек, руководить которой было поручено Василевскому.
В разгар битвы за Москву по личному указанию Сталина Василевскому было присвоено звание генерал-лейтенанта.
В конце ноября Шапошников заболел, и обязанности начальника Генерального штаба были временно возложены на Василевского. С его именем связано руководство наступлением Калининского фронта (командующий И.С.Конев), первым перешедшего в контрнаступление в ночь на 5 декабря, а также координация действий Юго-Западного фронта по освобождению Ростова-на-Дону.
Несмотря на тщательно проведенную разведку, советскому командованию не удалось точно узнать планы противника. Генеральный штаб по-прежнему считал, что значительные немецкие резервы сосредоточены на центральном направлении, в то время как вермахт готовил основное наступление на Кавказ с целью захвата источников нефти.
Было решено провести несколько отдельных операций под Ленинградом, Смоленском, Харьковом и в Крыму.
В мае 1942 года из-за тяжелого заболевания Шапошников был освобожден от обязанностей начальника Генерального штаба. Последние были возложены на Василевского. Ему было присвоено звание генерал-полковника.
В мае для Красной Армии вновь началась полоса неудач. В самом начале месяца немецкие войска прорвались в Крым. Начался последний этап обороны Севастополя, продлившийся до 4 июля. В те же дни развернулись операции в районе Харькова. Вначале они шли успешно, но вскоре немецкие войска сами перешли в наступление и к середине мая вышли в тыл войскам Юго-Западного фронта и развернули наступление на юг в направлении Кавказа и Сталинграда.
К концу августа Василевский приехал в район Сталинграда на Юго-Восточный фронт, которым командовал А.И.Еременко. Ставка приказала принимать все необходимые меры по мобилизации населения, но не сдавать Сталинграда. После разговора со Сталиным Василевский принял решение сосредоточить севернее и северо-западнее Сталинграда две-три армии из резерва Ставки и их силами ликвидировать части прорвавшегося противника. Вскоре туда приехал Жуков, а Василевский улетел в Москву.
В конце сентября Василевский вновь вернулся на Юго-Восточный фронт, где внимательно изучалась обстановка в ходе подготовки наступления с целью окружения всей немецкой группировки в Сталинграде. Операция готовилась в строжайшей секретности, о ней знали лишь немногие из высшего командного руководства.
Василевский по-прежнему контролировал Юго-Восточный фронт, получивший название Сталинградского. Планом операции предусматривался удар по румынским войскам, стоявшим на флангах немецкой группировки, прорыв их обороны танковыми и механизированными корпусами Сталинградского и Юго-Западного фронтов с дальнейшим соединением их в районе Калача.
Уже в первые дни наступления, начавшегося 19 ноября, Василевский понимал, что германское командование попытается оказать помощь своей окруженной группировке и деблокировать ее. Потому он заранее настоял перед Сталиным на создании достаточно сильного внешнего кольца окружения, а за ними резервов из подвижных войск.
На завершающем этапе Сталинградской битвы Василевский руководил боевыми действиями по отражению попыток деблокировать окруженную группировку и ее окончательной ликвидации. По его инициативе одна из лучших армий – 2-я гвардейская была брошена против группы армий «Дон», пытающейся деблокировать окруженную 6-ю армию Паулюса.
За участие в разгроме немецкой группировки в районе Сталинграда Василевский был награжден орденом Суворова I степени (№ 2).
После Сталинградской битвы немецкое командование решило подготовить наступление из Курского выступа, сложившегося в результате боев зимой и весной 1943 года. На этот раз разведка Генерального штаба своевременно вскрыла замысел противника. Было решено не переходить первыми в наступление, а занять жесткую оборону, выбить немецкие танки, измотать противника в оборонительных боях и только тогда перейти в наступление путем введения накопленных резервов.
В предстоящих оборонительных боях должны были принять участие войска Центрального фронта под командованием К.К.Рокоссовского и Воронежского – под командованием И.Ф.Ватутина, а также войска Брянского и левого крыла Западного фронтов.
5 июля началось немецкое наступление на Курской дуге, отражаемое соединением Центрального и Воронежского фронтов. Кульминацией оборонительных боев стало знаменитое танковое сражение под Прохоровкой 12 июля, в котором принимали участие до 1200 танков и самоходных установок. В тот же день перешли в наступление Брянский и Западный фронты, а 15 июля – и войска Центрального фронта.
В августе началась битва за Донбасс, в которой координация действий Юго-Западного и Южного фронтов была возложена на Василевского. С этими фронтами была связана деятельность Василевского и в ходе битвы за Днепр, а также в ходе освобождения Мелитополя, Кривого Рога, Запорожья и начало освобождения Крыма.
В следующем году войска фронтов, действия которых координировал Василевский, в весеннюю распутицу освободили Никополь, Николаев, Одессу и вышли к Днестру. В день освобождения Одессы 10 апреля Василевский был награжден орденом «Победа» (№ 2).
Летом основные военные действия были перенесены в Белоруссию, где войска четырех фронтов начали операцию «Багратион».
По предложению Василевского две армии, освободившие Крым были переброшены в Белоруссию, туда же выехало и бывшее управление 4-го Украинского фронта. Василевскому было приказано координировать действия 1-го Прибалтийского и 3-го Белорусского фронтов, которыми командовали молодые генералы И.Х.Баграмян и И.Д.Черняховский.
22 июня началось наступление фронтов. В первые дни боев был освобожден Витебск, западнее которого в котле оказалось около 5 немецких дивизий. 27 июня была освобождена Орша. Советские войска форсировали Березину. 3 июля войска 3-го и 1-го Белорусского фронтов встретились в Минске. Началось освобождение Прибалтики, которую Василевский не покидал до самого нового года.
Из Прибалтики бои перешли в Восточную Пруссию, изобилующую укрепленными районами. Вначале Василевский по-прежнему координировал действия 1-го Прибалтийского и 3-го Белорусского фронтов. Но после гибели Черняховского Василевский лично возглавил его войска. Он попросил Сталина освободить его от должности начальника Генерального штаба и назначить на свое место бывшего начальника Оперативного управления Генерального штаба А.И.Антонова.
Решающие бои развернулись на Зенландском полуострове и у Кенигсберга. 6 апреля начался штурм города-крепости, прикрываемого цепью фортов. Четыре армии штурмовали Кенигсберг, и к исходу четвертого дня штурма гарнизон крепости капитулировал.
Еще до окончания Великой Отечественной войны, летом 1944 года, Василевскому было объявлено о предстоящем назначении на пост командующего советскими войсками на Дальнем Востоке в войне с Японией. Сразу же после окончания Восточнопрусской операции Василевский был отозван в Москву, где приступил к подготовке плана войны.
Замысел Василевского сводился к одновременному нанесению ударов со стороны Забайкалья, Приморья и Приамурья к центру Северо-Восточного Китая. Боевые действия предстояло развернуть на территории около 1,5 млн кв. км и на глубину 200—800 км. Советским войскам предстояло рассечь на части Квантунскую армию японцев и затем разгромить ее. В операции должны были принимать участие войска Забайкальского фронта (командующий Маршал Советского Союза Р.А. Малиновский), 1-го и 2-го Дальневосточных (командующие Маршал Советского Союза К.А.Мерецков и генерал М.А.Пуркаев) и корабли Тихоокеанского флота и Амурской флотилии.
Огромная масса войск и техники была скрытно переброшена на Дальний Восток и в Монголию.
9 августа началось наступление, завершившееся 17 августа. Советским войскам сдалась 600-тысячная японская армия. Это был последний акт Второй мировой войны.