Retirat temporalment, Kleist fou cridat novament a files en iniciar-se la guerra el 1939, a l'edat de 58 anys, com a comandant en cap del XXII Cos de l'Exèrcit Motoritzat. Pren part en la invasió de Polònia el setembre del 1939. El 5 de març del 1940 fou nomenat comandant del Panzergruppe "Kleist", que sota el seu comandament va participar en la batalla de França entre maig i juny del 1940. A l'abril del 1941 fou enviat als Balcans amb el I Panzergruppe. Allí, les tropes sota el seu comandament van capturar la ciutat de Belgrad. Entre el 25 d'octubre del 1941 i el 21 de desembre del 1942 va comandar el I Exèrcit Panzer al front oriental.
Entre gener i maig del 1942 pren el comandament del Grup d'exèrcits "von Kleist", format pel I Exèrcit Panzer, el XVII Exèrcit i el Grup "von Mackensen" III Cos d'Exèrcit Motoritzat. Aquell any, Adolf Hitler envia a von Kleist al Caucas amb l'ordre de prendre els camps petrolífers, indispensables per a la continuació de la guerra. Va aconseguir convèncer a un sector de la població russa, permetent que milers de soviètics lluitesin contra Stalin. Al gener del 1943 va ascendir al grau de mariscal de camp, amb les tropes destinades a l'alliberament del VI Exèrcit de Paulus a Stalingrad. El 30 de març del 1944 fou rellevat del comandament per Hitler, retirant-se a la seva casa a Baviera. Allí va ser capturat per la 26a Divisió d'Infanteria americana, i transferit al camp de presoners de Trent Park, Anglaterra. El 1945 va ser traslladat al camp Nº11 a l'Illa Farm, a Gal·les. Des d'allí, és extradit el 31 d'agost del 1946 a Iugoslàvia i condemnat a 15 anys de presó. El 1948 fou enviat a la Unió Soviètica. Sentenciat a cadena perpètua, va morir el 16 d'octubre del 1954 al camp de presoners Vladimir, prop de Moscou.