Neix a Aschersleben (en l'actual estat de Saxònia-Anhalt) dins d'una família aristòcrata prussiana pertanyent a l'elit de terratinents Junker, von Rundstedt s'allista a l'exèrcit alemany l'any 1892. Ingressa a l'Escola de Guerra de Berlín l'any 1902, una institució que només acceptava 160 estudiants a l'any, dels quals el 75% mai acabava la instrucció.
El 22 de gener de 1902 es casa amb Luise Bila von Götz (morta l'any 1952) amb qui té un fill, Hans Gerd von Rundstedt (1903-1948).
Durant la I Guerra Mundial ascendeix successivament en rang fins al 1918, quan és promogut a comandant.
El Reichswehr
En finalitzar la guerra treballa com agregat del General Hans von Seeckt, reorganitzant el Ministeri de la Guerra. Ascendeix ràpidament en l'exèrcit dels 100.000 homes que les clàusules del Tractat de Versalles fixaven com a nombre màxim de soldats, essent nomenat general l'any 1927 i comandant en cap de la 3a Divisió d'infanteria el 1932. Aquest mateix any és nomenat Governador Militar de Berlín pel Canceller Franz von Papen, qui declara la llei marcial i mana a les seves tropes expulsar els membres del partit nazi de les oficines del govern estatal.
Es retira voluntàriament de l'exèrcit l'octubre de 1938, quan Werner von Fritsch, comandant en cap de l'exèrcit alemany (OKH), és inculpat per la Gestapo. Però Hitler el reintegra al servei pels seus alts mèrits en començar la II Guerra Mundial.
Segona Guerra Mundial
L'any 1939, durant la invasió de Polònia, se li assigna el Comandament del Grup d'Exèrcits del Sud. Completada la invasió, recolza el pla de von Manstein per a la invasió de França, pla que finalment rep el nom de Fall Gelb o Batalla de França. Per a l'operació li són assignades set divisions cuirassades Panzer, tres divisions motoritzades i 35 d'infanteria regular.
El 14 de maig de 1940 creuen el riu Mosa les divisions cuirassades de Heinz Guderian, obrint una forta bretxa al front aliat. Von Rundstedt dubtava de la supervivència d'aquestes unitats sense el suport de la infanteria i va demanar que s'aturessin. Hitler hi va estar d'acord, fet que va endarrerir l'avenç alemany i va afavorir l'èxit de l'Operació Dinamo a Dunkerque. Runsdtedt va renunciar a arrasar completament les platges de Dunkerque. Posteriorment, als judicis de Nuremberg, va testificar que aquesta decisió pretenia mostrar magnanimitat amb el Regne Unit, creient que així serien més receptius en un tractat de pau. Aquest resultat inexplicable va ser una decisió final de Rundstedt, a qui Hitler van concedir plens poders, davant l'exasperació de Franz Halder (Cap d'Estat Major de l'OKH en aquells moments).
Quan comença l'Operació Barbarroja contra la Unió Soviètica (juny de 1941), von Rundstedt torna al comandament del Grup d'Exèrcits del Sud. Al seu càrrec es troben 5 divisions Panzer i 52 d'infanteria. Primer el seu avanç va ser força lent, però aconsegueix prendre Kíev al setembre, on segons fonts alemanyes es rendeixen 665.000 soldats soviètics. Les fonts russes, per la seva banda, parlen de 452.000 soldats dintre del cercle, dels quals 150.541 escapen abans que es tanquin les tenalles.
Quan acaben els últims focus de resistència, segueix avançant en direcció a l'est fins a atacar Jarkov i Rostov. S'oposa enèrgicament a continuar avançar durant l'hivern rus i aconsella Hitler una parada per fortificar les posicions, però el seu suggeriment no és tingut en compte.
El novembre d'aquell any Rundstedt pateix un atac de cor. Refusa ser hospitalitzat i continua avançant, arribant Rostov el 21 de novembre. Un contraatac rus rebutja els alemanys i Rundstedt demana permís per retirar-se. Però Hitler, molt enfadat, el substitueix per Walter von Reichenau.
Tornat a cridar a files el març de 1942, és assignat al Comandament del front occidental. Però a la tardor de 1943 encara no hi havia fortificacions importants a la costa francesa. Quan Rommel és nomenat el seu subordinat, comença la construcció d'una línia defensiva important coneguda com el Mur de l'Atlàntic (fortificacions permanents al llarg de 2.700 km. de costa).
Prèviament al desembarcament, von Rundstedt defensava que les reserves cuirassades havien d'estar en estat operacional ja que, així, podrien arribar al sector on es realitzés el desembarcament. Aquesta opinió era compartida pel Comandant de la força cuirassada Geyr von Schweppenberg. Rommel, al contrari, volia que aquestes forces cuirassades estiguessin a prop de la costa, fora del punt de mira de l'artilleria naval aliada, car el domini aeri aliat no permetia una major operativitat. Guiat per les seves experiències a l'Àfrica, Rommel pensava que aquestes operacions aliades no permetrien aquest moviment de tropes durant el dia, i ho farien molt difícil a la nit. També opinava que no es produiria un desembarcament tant a l'oest com Normandia, i, per tant, poques divisions cuirassades haurien de ser enviades allà. En això, Rundstedt hi estava d'acord. Finalment, es va tenir en compte l'opinió de Rommel, degut a la inactivitat de von Rundstedt al front oriental, que havia minvat la seva autoritat. Les divisions cuirassades es van dispersar i només se'n van posar dues a la costa nord francesa, a l'oest del Sena. D'aquestes, només una es trobava al sector de Normandia, cosa que va provocar desastroses conseqüències al començament de la invasió.
Una vegada consumat el Desembarcament de Normandia, el juny de 1944, von Rundstedt pressiona Hitler perquè negociï una pau amb els aliats. Aquest li respon rellevant-lo un altre cop del comandament, aquesta vegada a favor del General Günther von Kluge.
El 20 de juliol d'aquell mateix any es produeix l'intent d'atemptat contra Hitler. Ja l'any 1943, els conspiradors havien intentat guanyar-se el favor dels Mariscals de Camp més veterans, com von Rundstedt o Guderian, cosa que no van aconseguir, de manera que cap dels dos no estaven d'acord amb el magnicidi. Els acusats per l'intent d'assassinar Hitler van ser jutjats per Roland Freiser i molts van ser executats. Precisament, arran de l'intent d'atemptat, Rundstedt acceptaria formalment formar part de la Cort d'Honor de l'Exèrcit, juntament amb el mateix Guderian i Wilhelm Keitel. Aquest òrgan expulsaria de la cort militar centenars d'oficials sospitosos d'oposar-se a Hitler.
A mitjans d'agost el front de von Kluge s'enfonsà, portant-lo al suïcidi. Von Rundstedt torna al comandament del front occidental. Reagrupa les forces ràpidament per oposar-se a l'Operació Market Garden, guanyant la batalla. Més tard supervisa els plans de l'ofensiva per recuperar Anvers, però fracassa, ja que tenia molt poques possibilitats d'èxit en l'anomenada batalla de les Ardenes. Ell s'hi va oposar des del començament, rentant-se les mans sobre el resultat. Va tornar a ser rellevat del comandament el març de 1945, després d'expressar-li a Keitel que Hitler hauria de signar la pau amb els aliats en lloc de seguir embarcat en una guerra sense esperances.
Quan acaba la guerra és capturat per soldats de la 36a Divisió d'Infanteria dels Estats Units, l'1 de maig de 1945. Va tornar a tenir un atac de cor mentre era interrogat i després va ser traslladat a Anglaterra i va ser mantingut en captivitat. Va ser acusat de crims de guerra pels britànics. Els càrrecs contra ell consistien en la seva possible implicació en els assassinats massius comesos en els territoris soviètics ocupats. El 10 d'octubre de 1941 el seu subordinat Walter von Reichenau, comandant en cap del 6è Exèrcit va emetre la sagnant "Ordre Reichenau". Però els problemes de salut de von Rundstedt el van lliurar d'enfrontar-se a un judici sobre aquest assumpte.
Alliberat el juliol de 1948, va viure a Hannover fins a la seva mort.