Во время Французской кампании 1940 года войска Рундштедта, как и в Польше, наносили главный удар. Осуществив прорыв через Арденны к Ла-Маншу, они предопределили победный для Германии исход войны. Особенно успешно действовали танковые войска. Стремительно развивая достигнутый успех, они вышли на подступы к Дюнкерку. Союзные англо-французские войска были прижаты к морю и находились на грани уничтожения. Но завершающий удар по ним нанесен так и не был. 24 мая 1940 года по совету Рундштедта Гитлер отдал немецким танковым войскам знаменитый «стоп-приказ». Это позволило союзникам избежать полного уничтожения в районе Дюнкерка и благополучно провести эвакуацию большей части своих войск в Англию. Успешно действовали войска Рундштедта. и на завершающем этапе этой войны. 19 июля 1940 года произведен в генерал-фельдмаршалы.

После разгрома Франции Рундштедт командовал войсками на Западе (июнь 1940 года — март 1941 года). Находившаяся под его командованием группировка войск (6-я А, 9-я А и 16-я А) готовилась к вторжению в Англию.

С апреля 1941 года командующий группой армий «Юг» (6-я А генерал-фельдмаршала В. фон Рейхенау, 11-я А генерала О. фон Шоберта, 17-я А генерала К. фон Штюльпнагель, 1-я танковая группа генерала Э. фон Клейста), созданной для вторжения в СССР. Это была одни из трех оперативно-стратегических группировок немецко-фашистских войск, развернутых на Востоке против Советского Союза. В оперативном подчинении Рундштедта находились также две румынские армии. Рундштедт выступал против войны с СССР, т. к. считал, что начинать войну на Востоке, не завершив войну на Западе, — это полный абсурд. Но Гитлер и нацистское руководство его мнение проигнорировали. В кампанию 1941 года возглавляемые Рундштедтом войска разгромили советские Юго-Западный и Южный фронты, к началу ноября захватили почти всю Украину и большую часть Крыма. Наиболее крупные победы над советскими войсками были одержаны в Приграничном сражении (Западная Украина), под Уманью, восточнее Киева, в Приазовье и Крыму. Масштаб, размах и напряженность этих сражений ни шли ни в какое сравнение с теми, которые немецко-фашистским войскам пришлось вести до того на Западе. По утверждению немецких историков, войска группы армий «Юг» в ходе боевых действий на Украине и в Крыму летом — осенью 1941 года взяли в плен свыше миллиона советских солдат и офицеров, а также захватили в качестве трофеев около 3400 танков и свыше 6800 артиллерийских орудий. Овладев значительной частью Донбасса, Рундштедт выступил за прекращение дальнейшего наступления, но Гитлер отверг это предложение и потребовал продолжать наступление с целью захвата Ростова-на-Дону и выхода на р. Дон. 21 ноября 1-я танковая армия Клейста выполнила этот приказ и овладела Ростовом. Но перешедшие еще 17 ноября в контрнаступление войска Красной Армии создали угрозу левому флангу и тылу 1-й танковой армии. Чтобы избежать окружения, Клейст, вопреки приказу Гитлера, запретившего немецким войскам отступать, 28 ноября начал отвод своих войск из района Ростова. Одновременно он обратился к Рундштедту с просьбой санкционировать его решение. Рундштедт, нарушив приказ Гитлера, такое разрешение дал, приказав Клейсту отвести войска 1-й танковой армии на рубеж р. Миус. 29 ноября немцы оставили Ростов. 30 ноября фюрер отменил решение Рундштедта, приказав ему «держаться любой ценой». Рундштедт назвал такое требование «безумием» и заявил, что если Гитлер не отменит свой приказ, то ему придется искать другого исполнителя.

В ночь на 1 декабря Рундштедт был отстранен от командования. Он стал первым германским фельдмаршалом, отправленным Гитлером в отставку во время Второй мировой войны. Заменивший Рундштедта генерал-фельдмаршал В. фон Рейхенау сразу же отдал приказ приостановить отступление 1-й танковой армии, но уже через день, разобравшись в обстановке, отменил его. Смещать с должности второго фельдмаршала Гитлер уже не стал. Вскоре, прибыв в 1-ю танковую армию с намерением снять ее командующего и начальника штаба, он лично убедился, что Клейст и Рундштедт были правы.

В марте 1942 года Гитлер вызвал Рундштедта из отставки и назначил командующим немецко-фашистскими войсками на Западе (группа армий «Д» — 1-я А, 7-я А, 15-я А). Задача, стоявшая перед этими войсками, заключалась в том, чтобы не допустить высадки англо-американских союзников во Франции и воспрепятствовать открытию ими Второго фронта в Европе. Если такая высадка все же произойдет, то сбросить противника в море. Но выбор Гитлера оказался неудачным — Рундштедт уже не был тем полководцем, который водил германские армии к победам в 1939—1941 годы. Это был физически и морально истощенный человек весьма почтенного возраста, глубоко разочаровавшийся в благоприятном для Германии исходе Второй мировой войны. Он не верил в возможность предотвратить с имеющимися у него силами и средствами высадку союзных войск во Франции, сомневался в эффективности сооружаемого в срочном порядке т. н. «Атлантического вала», презрительно именуя его «Пропагандистским валом». Рундштедт даже не считал нужным скрывать свое скептическое отношение к высшему политическому и военному руководству рейха, не скупился на критические выпады в адрес фюрера (или, как он теперь его называл в узком кругу своих помощников, — «богемского ефрейтора»). Полное безразличие ко всему, апатия и неудовлетворенность всем вокруг были обычным состоянием фельдмаршала в этот период его деятельности. Передоверив все текущие дела своему штабу, а также своему деятельному подчиненному генерал-фельдмаршалу Э. Роммелю (командующий группой армий «Б»), он почти полностью самоустранился от всего, что могло внести какой-то диссонанс в его размеренную тыловую жизнь. На постоянное вмешательство ОКВ и лично Гитлера в сферу его деятельности реагировал вяло и практически не обращал на это особого внимания. В результате должных мер по подготовке обороны морского побережья на случай высадки союзников принято не было.

В отличие от Роммеля, выдвинувшего план нанесения мощного удара по противнику в момент его высадки на побережье, Рундштедт считал более целесообразным дать союзным войскам решительное сражение в глубине, когда они лишатся поддержки корабельной артиллерии, в стиле 1940 года. Но при этом Рундштедт не учитывал того обстоятельства, что победы 1940 года уже ушли в безвозвратное прошлое. Теперь на стороне союзников было полное превосходство в воздухе, немецко-фашистская армия утратила былое преимущество в танках и артиллерии, а боеспособность большинства немецких дивизий на Западе оставляла желать много лучшего. Выиграть в таких условиях сражение с закрепившимся на плацдарме и имеющим большое превосходство в силах и средствах противником было весьма проблематично. Но Рундштедт, по всей видимости, отчета себе в этом не отдавал и продолжал жить прежними иллюзиями, далекими от реальной действительности. К моменту начала высадки союзников в Нормандии в подчинении Рундштедта находились: группа армий «Б» (Роммель), группа армий «Г» (генерал И. Бласковиц), 1-я парашютная армия (генерал К. Штудент) и танковая группа «Запад» (генерал Л. фон Швеппенбург).

6 июня 1944 года началась Нормандская десантная операция союзников. Помешать их высадке Рундштедту не удалось, а нанесенный им с запозданием контрудар закончился неудачей, так же как и контрнаступление, предпринятое им в Нормандии. 1 июля он доложил в ставку о его провале. На вопрос генерал-фельдмаршала В. Кейтеля — что же делать дальше — потерявший самообладание Рундштедт прокричал: «Заключать мир, идиоты! Что же еще вы сможете сделать?!» — и бросил трубку. Гитлер сразу же зачислил Рундштедта в «пораженцы». На следующий день из ставки в его штаб прибыл посланец фюрера полковник Г. Бергманн. Он сообщил фельдмаршалу о награждении его дубовыми листьями к Рыцарскому кресту и вручил письмо Гитлера, в котором фюрер объявлял об отстранении Рундштедта от командования (2 июля 1944 года).

После провала покушения на Гитлера (20 июля 1944 года) находившийся не у дел Рундштедт был назначен председателем «Суда чести», по приговору которого из армии были изгнаны многие офицеры, в той или иной мере имевшие причастность к заговору или же просто знавшие о нем. Большинство из них затем подверглись репрессиям.