Kempe studerte ved orkesterskolen i Dresden og begynte i 1928 som oboist i Dortmund. Fra 1929 til 1936 var han førsteoboist og pianist ved Gewandhausorchester Leipzig. I 1937 ble han dirigent for samme orkester, i en alder av bare 27 år. I 1949 ble han Generalmusikdirektor i Dresden, og i 1951 også leder for byens opera. Fra 1952 til 1954 var han musikkdirektør ved Bayerische Staatsoper i München, og i 1960-årene ledet han Royal Philharmonic Orchestra og Tonhalle-Orchester Zürich. På denne tiden var han en av de mest etterspurte dirigentene i verden, med oppdrag blant annet i New York, Buenos Aires, Milano og Salzburg. Han ble Generalmusikdirektor for Münchner Philharmoniker i 1967, og satt i denne stillingen frem til sin død i 1976. Han ble etterfulgt av Sergiu Celibidache.
Kempe var en dirigent med en svært behersket stil, og han stilte hele sin store tekniske viten til disposisjon for orkesteret, musikerne og sangernes. Han så og opplevde musikk mindre som et fenomen som var skapt for å underholde publikum, enn som en kilde til felles musikkutfoldelse. Derfor var han en tilhenger av ensembleteatre. Han førte taktstokken på en klar og tydelig måte, og dette var med på å underbygge hans strukturalistiske fortolkningsstil som lett gjenkjennes i det faktum at han gjorde musikkens kammermusikalske kvaliteter, sidestemmene og de fine klangsjatteringene hørbare selv i de store, senromantiske partiturene.
