Но здесь военное счастье, которое с самого начала Второй мировой войны неизменно сопутствовало Клейсту, изменило ему. Его вырвавшиеся далеко вперед танковые соединения подверглись мощному контрудару советских войск и были вынуждены оставить Ростов (29 ноября). Под натиском противника они начали поспешное отступление на запад, несмотря на строжайший приказ Гитлера, запрещавший даже малейший отход. Будучи не в состоянии сдержать наступление советских войск, Клейст обратился к командующему группой армий «Юг» с просьбой разрешить ему отступить к р. Миус. Рундштедт на свою ответственность дал такое разрешение, за что сразу же был смещен Гитлером с должности. Заменивший его генерал-фельдмаршал В. фон Рейхенау все же добился у фюрера разрешения на отход 1-й танковой армии. Таким образом, под Ростовом Клейст снискал сомнительную славу первого германского военачальника, потерпевшего крупное поражение во Второй мировой войне. Весной 1942 года Клейст принял участие в Харьковском сражении, завершившемся новой крупной победой немецко-фашистских войск.

1-я танковая армия внесла весомый вклад в эту победу. 24 июля она во второй раз взяла Ростов, а затем устремилась на Северный Кавказ. 8 августа ее войска захватили Майкоп и вслед за тем вышли в предгорья Главного Кавказского хребта. Но здесь они встретили упорное сопротивление советских войск, их дальнейшее продвижение застопорилось. Старый начальник Клейста командующий группой армий «А» генерал-фельдмаршал Лист, под командованием которого он сражался в Польше, Франции и на Балканах, был смещен со своего поста (10 сентября 1942 года) и уволен в отставку. Командование группой армий «А» принял на себя Гитлер. Однако этот не более чем театральный жест фюрера к улучшению обстановки не привел. Более того, она продолжала неумолимо ухудшаться.

19 ноября началось мощное контрнаступление Красной Армии под Сталинградом. Прорванный советскими войсками во многих местах фронт обороны группы армий «Б» начал рушиться на глазах. Грозный призрак стремительно надвигавшейся катастрофы всего южного крыла германского Восточного фронта уже начал обретать вполне реальные очертания. Бывший ефрейтор, возомнивший себя полководцем одной из самых мощных армий в мире, был вынужден признать (хотя бы втайне для себя) свое полное военное банкротство и назначить на пост командующего группой армий «А» профессионала (22 ноября 1942 года). Им стал Клейст. В состав этой группы армий тогда входили всего 2 армии — 17-я и 1-я танковая. В сложившейся обстановке новый командующий должен был принять срочные меры по спасению вверенной ему группировки войск.

После катастрофы, постигшей вермахт под Сталинградом, над немецкими войсками на Северном Кавказе нависла угроза изоляции от основных сил германского Восточного фронта и последующего разгрома. Надо отдать должное Клейсту — он справился с поставленной перед ним задачей с большим искусством, хотя Гитлер лишь в самый последний момент разрешил ему начать отступление. Но тем не менее Клейсту удалось через узкий коридор у Ростова вывести с Северного Кавказа 1-ю танковую армию, а войска 17-й армии организованно отвести в низовья Кубани и прочно закрепиться там. Заслуги Клейста, сделавшего все, чтобы не допустить на Северном Кавказе «нового Сталинграда», были очевидны. 31 января 1943 года Гитлер произвел его в генерал-фельдмаршалы. В период боевых действий на Северном Кавказе Клейст проводил на оккупированной территории активную политику привлечения на сторону немецко-фашистской армии казачества и горских народов Северного Кавказа, в чем достиг определенных успехов. В немалой степени этому способствовало довольно лояльное отношение Клейста к местному населению, заигрывание с антисоветски настроенными кругами казачества и горцев, запрет войскам СС проводить карательные операции на подконтрольных ему территориях. В сентябре 1943 года добился у Гитлера разрешения на эвакуацию 17-й армии с Таманского плацдарма в Крым, в результате чего была спасена от уничтожения крупная группировка немецко-фашистских войск (около 260 тыс. человек).

Но тогда же у Клейста начались серьезные разногласия с Гитлером. Клейст потребовал от фюрера оставить Крым и эвакуировать с полуострова немецкие и румынские войска, считая его оборону не только бесперспективной, но и чреватой очередным крупным поражением (что и произошло, но уже после отставки Клейста). Но Гитлер запретил Клейсту об этом даже и думать.

В марте 1944 года, будучи не в силах сдержать мощный натиск Красной Армии на рубеже р. Южный Буг, Клейст отдал своим войскам приказ отходить к Днестру. Гитлер пришел в ярость от подобного решения фельдмаршала, посмевшего нарушить его приказ, но поставленный перед фактом был вынужден 27 марта санкционировать решение Клейста. 30 марта личный самолет фюрера приземлился в Тирасполе, где размещался штаб группы армий «А», чтобы забрать ее командующего, срочно вызванного в ставку.

Вечером того же дня Гитлер принял Клейста, наградил его сразу дубовыми листьями и мечами к Рыцарскому кресту, а затем тут же снял с должности и уволил в отставку. Обосновывая свое столь крутое решение, фюрер заявил, что он одобряет все сделанное Клейстом, но время крупных наступательных операций на Восточном фронте, признанным специалистом которых является Клейст, прошло. Теперь ему, Гитлеру, требуются другие командующие, а именно те, которые обладают способностью заставить свои войска обороняться до последней возможности. Клейст воспользовался этой последней встречей с фюрером, чтобы посоветовать ему заключить мир с Советским Союзом. Но Гитлер отмахнулся от этого совета, заявив в ответ, что в этом нет никакой необходимости, т. к. Красная Армия уже полностью истощила свои силы.

Преемником Клейста на посту командующего группой армий «А» стал ярый нацист генерал-полковник Ф. Шернер, готовый с присущим ему фанатизмом выполнять любые приказы Гитлера. Изгнанный из армии Клейст удалился в свое поместье Вейдельбрюке (Силезия), где и провел в тихом уединении около 4 месяцев.

Но после покушения на Гитлера 20 июля 1944 года затворничество Клейста было нарушено. Он был арестован гестапо по подозрению в участии в заговоре против Гитлера. Подозрение нацистского руководства против Клейста было вызвано тем, что один из его родственников оказался причастным к заговору. Поскольку прямых улик в отношении фельдмаршала у следствия не было, то он был обвинен в том, что знал о существовании заговора, но не сообщил об этом властям и, следовательно, является его соучастником. Но Гитлер решил не предавать такого известного фельдмаршала «народному суду». После казни фельдмаршала Э. Вицлебена и очень подозрительной кончины еще 2 фельдмаршалов (Клюге и Роммеля) нацистская верхушка оказалась в затруднительном положении — продолжать репрессии против военной элиты рейха или на этом остановиться. Первое в условиях продолжающейся войны грозило трудно предсказуемыми последствиями (потому от германского народа и была скрыта истинная причина смерти Клюге и Роммеля — фельдмаршалов, не менее знаменитых, чем Клейст), вторая выглядела предпочтительнее, тем более что урок любителям всякого рода заговоров преподан был довольно суровый и в определенной мере уже достиг своей цели. Поэтому Клейст был освобожден из тюрьмы и вернулся в свое поместье.

Приближение фронта к Силезии заставило его в начале 1945 года перебраться в одну из маленьких деревушек в Нижней Баварии, где 25 апреля он был арестован американскими войсками. Отступая из Силезии, сын Клейста взорвал дом отца, чтобы он не достался большевикам. Как свидетель Клейст принимал участие в заседаниях Международного Нюрнбергского военного трибунала.