Il commença le piano très jeune puis étudia la composition. Il fut répétiteur au théâtre de Augsbourg en 1947, et devint chef d'orchestre de la ville. C'est alors qu'il fut invité par divers orchestres dans les années 1950.
En plus de soixante ans de carrière, il s'est produit avec tous les orchestres et dans tous les festivals européens, notamment au festival de Bayreuth.
De 1960 à 1963, il est directeur musical de l'opéra de Cologne. De 1960 à 1970, il est chef en titre de l'Orchestre symphonique de Vienne. De 1970 à 1980, il assume le rôle de directeur artistique de l'Orchestre de la Suisse romande. Sous son impulsion, l'orchestre étend son répertoire à Mahler et Bruckner, compositeurs peu entendus jusqu'alors en Suisse romande. À partir de 1971, il est également directeur musical de l'Opéra de Bavière, dont il est aussi le directeur général à partir de 1982. Pendant son long mandat (jusqu'en 1992), il propose notamment des cycles complets des opéras de Richard Wagner et Richard Strauss. De 1993 à 2002, il est directeur musical de l'Orchestre de Philadelphie.
Il a été en outre régulièrement invité par l'Orchestre Symphonique de la NHK à partir de 1967 jusqu'aux années 2000. En France, c'est surtout avec l'Orchestre de Paris qu'il travaille, notamment pour un vaste cycle Beethoven entre 1994 et 1998 (symphonies, concertos, Fidelio...).
À ses débuts, Walter Legge disait de lui que « sa battue [était] aussi claire et simple que celle de Knappertsbusch », qualité - et absence de métaphysique - qui ne s'est jamais démentie.
.svg){kind=small}
