Но тогда же у Клейста начались серьезные разногласия с Гитлером. Клейст потребовал от фюрера оставить Крым и эвакуировать с полуострова немецкие и румынские войска, считая его оборону не только бесперспективной, но и чреватой очередным крупным поражением (что и произошло, но уже после отставки Клейста). Но Гитлер запретил Клейсту об этом даже и думать.

В марте 1944 года, будучи не в силах сдержать мощный натиск Красной Армии на рубеже р. Южный Буг, Клейст отдал своим войскам приказ отходить к Днестру. Гитлер пришел в ярость от подобного решения фельдмаршала, посмевшего нарушить его приказ, но поставленный перед фактом был вынужден 27 марта санкционировать решение Клейста. 30 марта личный самолет фюрера приземлился в Тирасполе, где размещался штаб группы армий «А», чтобы забрать ее командующего, срочно вызванного в ставку.

Вечером того же дня Гитлер принял Клейста, наградил его сразу дубовыми листьями и мечами к Рыцарскому кресту, а затем тут же снял с должности и уволил в отставку. Обосновывая свое столь крутое решение, фюрер заявил, что он одобряет все сделанное Клейстом, но время крупных наступательных операций на Восточном фронте, признанным специалистом которых является Клейст, прошло. Теперь ему, Гитлеру, требуются другие командующие, а именно те, которые обладают способностью заставить свои войска обороняться до последней возможности. Клейст воспользовался этой последней встречей с фюрером, чтобы посоветовать ему заключить мир с Советским Союзом. Но Гитлер отмахнулся от этого совета, заявив в ответ, что в этом нет никакой необходимости, т. к. Красная Армия уже полностью истощила свои силы.

Преемником Клейста на посту командующего группой армий «А» стал ярый нацист генерал-полковник Ф. Шернер, готовый с присущим ему фанатизмом выполнять любые приказы Гитлера. Изгнанный из армии Клейст удалился в свое поместье Вейдельбрюке (Силезия), где и провел в тихом уединении около 4 месяцев.

Но после покушения на Гитлера 20 июля 1944 года затворничество Клейста было нарушено. Он был арестован гестапо по подозрению в участии в заговоре против Гитлера. Подозрение нацистского руководства против Клейста было вызвано тем, что один из его родственников оказался причастным к заговору. Поскольку прямых улик в отношении фельдмаршала у следствия не было, то он был обвинен в том, что знал о существовании заговора, но не сообщил об этом властям и, следовательно, является его соучастником. Но Гитлер решил не предавать такого известного фельдмаршала «народному суду». После казни фельдмаршала Э. Вицлебена и очень подозрительной кончины еще 2 фельдмаршалов (Клюге и Роммеля) нацистская верхушка оказалась в затруднительном положении — продолжать репрессии против военной элиты рейха или на этом остановиться. Первое в условиях продолжающейся войны грозило трудно предсказуемыми последствиями (потому от германского народа и была скрыта истинная причина смерти Клюге и Роммеля — фельдмаршалов, не менее знаменитых, чем Клейст), вторая выглядела предпочтительнее, тем более что урок любителям всякого рода заговоров преподан был довольно суровый и в определенной мере уже достиг своей цели. Поэтому Клейст был освобожден из тюрьмы и вернулся в свое поместье.

Приближение фронта к Силезии заставило его в начале 1945 года перебраться в одну из маленьких деревушек в Нижней Баварии, где 25 апреля он был арестован американскими войсками. Отступая из Силезии, сын Клейста взорвал дом отца, чтобы он не достался большевикам. Как свидетель Клейст принимал участие в заседаниях Международного Нюрнбергского военного трибунала.

В сентябре 1946 года американцы выдали его Югославии, где в 1948 году Клейст как военный преступник был приговорен к 15 годам каторжных работ. Но уже в 1949 году югославы передали его советским властям. В 1952 году Военная коллегия Верховного суда СССР приговорила Клейста за совершенные им на территории Советского Союза военные преступления к 25 годам тюремного заключения. Весной 1954 года он был переведен во Владимирскую тюрьму, где содержались пленные немецкие генералы, также осужденные советским судом за военные преступления. Отсюда Клейст впервые после своего ареста весной 1945 года дал знать о себе проживающим в ФРГ родственникам. Умер в заключении от сердечной недостаточности.

Клейст принадлежал к старшему поколению гитлеровских военачальников. Он был прежде всего прусским генералом старой закалки, приверженцем традиций этой замкнутой и консервативной военной касты, пропитанной насквозь духом милитаризма и сословных предрассудков. Клейст никогда не скрывал своих промонархических взглядов и открыто высказывался за реставрацию монархии. Отрицательно относился с самого начала к нацистскому режиму и не разделял его идеологии, но тем не менее на протяжении многих лет продолжал преданно служить ему, поставив на службу нацистам свой опыт, знания и незаурядные военные способности. Такое раздвоение личности этого прусского аристократа заключалось, по всей вероятности, в том, что его духовные и жизненные принципы (приверженность ортодоксальным догмам прусского юнкерства, пангерманское мировоззрение, прусский милитаризм и консерватизм, враждебность к любым проявлениям демократии и т. п.) в значительной мере находили отражение в проводимой нацистским руководством Германии политике. Вместе с тем Клейст никогда не шел на компромисс с нацистами или с кем-то еще в принципиальных для него вопросах, не отличался, как многие из его коллег, слепым послушанием Гитлеру, умел проявить характер и отстаивать свою точку зрения, несмотря ни на что. Его военные способности и высокий профессионализм никогда не оспаривались даже Гитлером, хотя тот и питал к Клейсту тщательно скрываемую неприязнь. До определенного момента Клейст ему был нужен.

Расстался с ним фюрер лишь тогда, когда в силу сложившихся обстоятельств военачальники типа Клейста, имевшие собственный взгляд на характер военных действий и способы их ведения, а также склонные к проявлению инициативы, ему стали больше не нужны. Их заменили послушные исполнители его воли, весь военный талант которых сводился только к одному — стоять во что бы то ни стало, удерживать занимаемые позиции до последней возможности.

Будучи человеком твердых принципов, Клейст не примкнул к антигитлеровскому заговору, т. к., во-первых, Гитлер являлся для него главой государства, и Клейст признавал этот факт; во-вторых, для выходцев из прусского офицерского корпуса военная присяга являлась святыней, а Клейст в 1934 году вместе со всей армией присягнул на верность Адольфу Гитлеру; в-третьих, Клейст до мозга костей был прусским солдатом и больше никем, и поэтому ни при каких обстоятельствах не мог пойти на нарушение присяги, что в его понимании олицетворялось с изменой родине.

Как военачальник Клейст обладал незаурядным военным талантом. Командуя армейским корпусом, он отличился во время Польской кампании 1939 года. В ходе Французской 1940 года и Балканской 1941 года кампаний возглавляемая им танковая группа внесла большой вклад в достижение победы, а сам Клейст зарекомендовал себя талантливым военачальником. Командуя танковым объединением, он проявил смелость, решительность, разумную инициативу и высокое боевое мастерство. Столь же успешно Клейст действовал и на Восточном фронте в 1941—1942 годах, возглавляя танковую группу, а затем танковую армию. Его танковые и моторизованные войска одержали целый ряд крупных побед на Украине и Северном Кавказе, действуя на острие ударов группы армий «Юг», затем группы армий «А». Даже временная неудача под Ростовом в конце 1941 года не поставила под сомнение его боевую репутацию.

Выдающиеся качества крупного военачальника Клейст проявил и на посту командующего группой армий «А», которой он командовал 16 месяцев. Несмотря на то, что действовать ему пришлось в исключительно сложной обстановке, а его инициатива сковывалась частым вмешательством Гитлера в вопросы оперативного руководства войсками, Клейст не допустил ни одного крупного оперативного промаха.