Во время «генеральской чистки» уволен из армии (февраль 1938 году). Но приближалась война, и Гитлер нуждался в опытных генералах. В августе 1939 года Клейст снова призывается на военную службу и назначается командиром 22-го армейского корпуса. Во главе этого корпуса (одна из 3 дивизий которого была танковой) Клейст участвовал в Польской кампании 1939 года. Его корпус входил в состав 14-й армии генерала В. Листа и действовал в южной части Польши. После разгрома противника в районе Львова Клейст совершил стремительный бросок к р. Буг, где 16 сентября соединился с наступавшим с севера корпусом генерала Г. Гудериана. Результатом этого маневра явилось стратегическое окружение основных сил польской армии западнее Вислы. После разгрома Польши корпус Клейста был переброшен на Западный фронт.
Во время Французской кампании 1940 года Клейст возглавлял танковую группу («танковая группа Клейста»), приданную 12-й армии генерала В. Листа. В состав его группы входили 19-й (генерал Г. Гудериан), 41-й (генерал Г. Рейнгардт) и 14-й (генерал Г. Витерсгейм) моторизованные корпуса. «Танковая группа Клейста» фактически являлась танковой армией, хотя этот термин официально вошел в употребление лишь 1,5 года спустя, а сам Клейст стал по существу первым в немецко-фашистской армии командующим танковым объединением.
Осуществив прорыв через Люксембург в Южную Бельгию, его танковые войска вышли в тыл «линии Мажино», что поколебало ее устойчивость и позволило войскам генерала В. фон Лееба приступить к прорыву этой сильно укрепленной оборонительной полосы. Затем войска Клейста нанесли сокрушительное поражение французам на р. Маас, 14 мая форсировали ее и развернули стремительное наступление к Ла-Маншу. С их выходом на побережье было завершено образование «Дюнкеркского котла», в котором оказались свыше 400 тыс. французов, англичан и бельгийцев. На втором этапе кампании в состав танковой группы Клейста входили 14-й и 16-й (генерал Э. Гепнер) моторизованные корпуса и несколько отдельных соединений. Она развернула стремительное наступление в глубь Франции. К моменту капитуляции Франции танковые войска Клейста находились в Лионе и Сент-Этьенне. За Французскую кампанию Клейст получил чин генерал-полковника (19 июля 1940 года). Еще ранее, за Польскую кампанию, он был награжден Рыцарским крестом.
В ноябре 1940 года Клейст возглавил 1-ю танковую группу, которая весной 1941 года была переброшена на Балканы (в Болгарию). Участвовал в Балканской кампании 1941 года, находясь в оперативном подчинении командующего 12-й армией генерал-фельдмаршала В. Листа. Во время этой кампании 1-я танковая группа войск вела боевые действия в Югославии. 9 апреля ее войска овладели г. Ниш, а 13 апреля вступили в столицу Югославии — Белград. Разгром противника в Югославии танковая группа Клейста осуществила во взаимодействии со 2-й армией генерала М. фон Вейхса. После завершения Балканской кампании она была в срочном порядке переброшена в Польшу, где вошла в состав группы армий «Юг» (генерал-фельдмаршал Г. фон Рундштедт).
Сразу же после вторжения на территорию Советского Союза 1-я танковая группа [3-й (генерал Э. фон Макензен), 14-й (генерал Г. Витерсгейм) и 48-й (генерал В. Кемпф) моторизованные корпуса] приняла участие в крупнейшем за всю войну танковом сражении, развернувшемся в районе Ровно, Броды, Луцк, которое завершилось поражением советских войск. Развивая достигнутый успех, Клейст 10 июля овладел Житомиром, а затем его танки повернули на юго-восток и в районе Первомайска соединилась с войсками 17-й армии (генерал К. фон Штюльпнагель), замкнув кольцо оружия крупной группировки Красной Армии на Правобережной Украине (Уманский котел). К 8 августа эта группировка советских войск была ликвидирована, потеряв только пленными свыше 100 тыс. человек. В качестве трофеев немцы захватили здесь более 300 танков и до 800 орудий. В августе 1941 года 1-я танковая группа форсировала Днепр у Кременчуга и 16 сентября в районе Ромны соединилась со 2-й танковой группой Гудериана, замкнув кольцо окружения 5 советских армий. К концу сентября эта группировка советских войск (киевская группировка) прекратила свое существование. Только одних пленных при ее ликвидации было захвачено свыше 600 тыс. человек[58]. 6 октября 1941 года 1-я танковая группа была преобразована в 1-ю танковую армию. На следующий день в оперативное подчинение Клейста поступила 11-я армия. В октябре 1941 Клейст разгромил северо-западнее Бердянска очередную группировку советских войск, захватив в плен 65 тыс. человек, затем его войска заняли большую часть Донбасса и 21 ноября овладели Ростовом-на-Дону.
Но здесь военное счастье, которое с самого начала Второй мировой войны неизменно сопутствовало Клейсту, изменило ему. Его вырвавшиеся далеко вперед танковые соединения подверглись мощному контрудару советских войск и были вынуждены оставить Ростов (29 ноября). Под натиском противника они начали поспешное отступление на запад, несмотря на строжайший приказ Гитлера, запрещавший даже малейший отход. Будучи не в состоянии сдержать наступление советских войск, Клейст обратился к командующему группой армий «Юг» с просьбой разрешить ему отступить к р. Миус. Рундштедт на свою ответственность дал такое разрешение, за что сразу же был смещен Гитлером с должности. Заменивший его генерал-фельдмаршал В. фон Рейхенау все же добился у фюрера разрешения на отход 1-й танковой армии. Таким образом, под Ростовом Клейст снискал сомнительную славу первого германского военачальника, потерпевшего крупное поражение во Второй мировой войне. Весной 1942 года Клейст принял участие в Харьковском сражении, завершившемся новой крупной победой немецко-фашистских войск.
1-я танковая армия внесла весомый вклад в эту победу. 24 июля она во второй раз взяла Ростов, а затем устремилась на Северный Кавказ. 8 августа ее войска захватили Майкоп и вслед за тем вышли в предгорья Главного Кавказского хребта. Но здесь они встретили упорное сопротивление советских войск, их дальнейшее продвижение застопорилось. Старый начальник Клейста командующий группой армий «А» генерал-фельдмаршал Лист, под командованием которого он сражался в Польше, Франции и на Балканах, был смещен со своего поста (10 сентября 1942 года) и уволен в отставку. Командование группой армий «А» принял на себя Гитлер. Однако этот не более чем театральный жест фюрера к улучшению обстановки не привел. Более того, она продолжала неумолимо ухудшаться.
19 ноября началось мощное контрнаступление Красной Армии под Сталинградом. Прорванный советскими войсками во многих местах фронт обороны группы армий «Б» начал рушиться на глазах. Грозный призрак стремительно надвигавшейся катастрофы всего южного крыла германского Восточного фронта уже начал обретать вполне реальные очертания. Бывший ефрейтор, возомнивший себя полководцем одной из самых мощных армий в мире, был вынужден признать (хотя бы втайне для себя) свое полное военное банкротство и назначить на пост командующего группой армий «А» профессионала (22 ноября 1942 года). Им стал Клейст. В состав этой группы армий тогда входили всего 2 армии — 17-я и 1-я танковая. В сложившейся обстановке новый командующий должен был принять срочные меры по спасению вверенной ему группировки войск.
После катастрофы, постигшей вермахт под Сталинградом, над немецкими войсками на Северном Кавказе нависла угроза изоляции от основных сил германского Восточного фронта и последующего разгрома. Надо отдать должное Клейсту — он справился с поставленной перед ним задачей с большим искусством, хотя Гитлер лишь в самый последний момент разрешил ему начать отступление. Но тем не менее Клейсту удалось через узкий коридор у Ростова вывести с Северного Кавказа 1-ю танковую армию, а войска 17-й армии организованно отвести в низовья Кубани и прочно закрепиться там. Заслуги Клейста, сделавшего все, чтобы не допустить на Северном Кавказе «нового Сталинграда», были очевидны. 31 января 1943 года Гитлер произвел его в генерал-фельдмаршалы. В период боевых действий на Северном Кавказе Клейст проводил на оккупированной территории активную политику привлечения на сторону немецко-фашистской армии казачества и горских народов Северного Кавказа, в чем достиг определенных успехов. В немалой степени этому способствовало довольно лояльное отношение Клейста к местному населению, заигрывание с антисоветски настроенными кругами казачества и горцев, запрет войскам СС проводить карательные операции на подконтрольных ему территориях. В сентябре 1943 года добился у Гитлера разрешения на эвакуацию 17-й армии с Таманского плацдарма в Крым, в результате чего была спасена от уничтожения крупная группировка немецко-фашистских войск (около 260 тыс. человек).
