Valmistumisensa jälkeen Rattle johti Bournemouthin ja Liverpoolin sinfoniaorkestereita, kunnes aloitti Birminghamin sinfoniaorkesterin johtajana vuonna 1980. Hän jatkoi orkesterin johdossa aina vuoteen 1998 asti ja pitkän yhteistyön tuloksena orkesteri ja Rattle nousivat molemmat Ison-Britannian orkesterien eturiviin.
Vuonna 1999 Rattle nimitettiin Claudio Abbadon seuraajaksi Berliinin filharmonikoiden pääkapellimestariksi, jota pidetään yhtenä arvostetuimmista kapellimestarinviroista maailmassa. Hän konsertoi pääkapellimestarina filharmonikoiden kanssa ensimmäistä kertaa 7. syyskuuta 2002 esittäen Thomas AdèsinAsylan ja Gustav Mahlerin 5. sinfonian. Konserttitaltiointi julkaistiin levynä ja se sai ylistävät arviot musiikkilehdistössä. Gramophone-lehti nimitti Rattlen viimeisimpiin levytyksiin kuuluvaa Claude DebussynLa Meria ”mahtavaksi levyksi” ja nosti sen Rattlea filharmonikoiden johtajana edeltäneiden Abbadon ja Herbert von Karajanin levytyksien rinnalle.
Rattle ilmoitti tammikuussa 2013, ettei enää jatka orkesterin johtajana ja jättää paikan elokuussa 2018[1] ja siirtyy Lontooseen[2]. Hänen seuraajakseen Berliinin filharmonikan jäsenet ovat valinneet Kirill Petrenkon.[3].