Gordon begynte sin karriere som trommeslager for Everly Brothers i 1963 som 17-åring, og han ble snart en av bransjens mest etterspurte studiomusikere i Los Angeles. Han spilte blant annet på The Beach Boys' kritikerroste album Pet Sounds i 1966. Hans samarbeide med Eric Clapton begynte i 1969, først som trommeslager i bandet Delaney & Bonnie hvor Clapton var gitarist og senere startet de bandet Derek and the Dominos, hvor de skrev blant annet låten «Layla» sammen. Gordon spiller forøvrig både trommer og pianodelen som avslutter låten.
Han spilte på flere sanger på albumene Imagine og Somtime In New York City med John Lennon. I 1970 spilte han i Joe Cockers turné-band, og i 1972 var han med på Frank Zappas «Grand Wazoo»-turné.
Mot slutten av 1970-årene var han hyppig plaget av at han hørte stemmer inne i hodet sitt, spesielt sin mors stemme. Han ble feildiagnosistert og behandlet for alkoholisme. 3. juni 1983 slo han sin mor med en hammer og stakk henne ihjel. Først i 1984, under rettssaken, fikk han diagnosen schizofreni. Hans advokat klarte imidlertid ikke å bevise at Gordon var utilregnelig i gjerningsøyeblikket, og Gordon ble dømt til 16 år til livstid med mulighet for senere løslatelse. Han søkte flere ganger om prøveløslatelse, men ble han nektet det.[4]
