Klinghoffer stopte met school op 15-jarige leeftijd en hield zich bezig met het opnemen van muziek en optreden in Los Angeles. In 1997, op zeventienjarige leeftijd, werd Klinghoffer lid van The Bicycle Thief. In 2002 begonnen Klinghoffer en toenmalig Red Hot Chili Peppers-gitarist John Frusciante samen liedjes te schrijven met als doel een album uit te brengen onder een nieuwe bandnaam. Uiteindelijk werd het album in 2004 uitgebracht als een van Frusciantes soloalbums, genaamd Shadows Collide with People. Op de volgende soloalbums van Frusciante is Klinghoffer te horen als drummer, bassist, achtergrondzanger, keyboardspeler en soms gitarist. Uiteindelijk vormde Klinghoffer met Frusciante en Joe Lally (bassist van Fugazi) een band genaamd Ataxia.
Dot Hacker (2008-heden)
In 2008 richtte Klinghoffer zijn eigen band op, Dot Hacker, waarin hij de songwriter, zanger, gitarist en pianist is. De overige bandleden zijn Clint Walsh (gitaar, keyboards, achtergrondzang), Jonathan Hischke (basgitaar) en Eric Gardner (drums). Walsh, Gardner en Klinghoffer speelden hiervoor samen als tourmuzikant van Gnarls Barkley. In 2012 bracht Dot Hacker hun eerste album uit, Inhibition. Op 1 juli 2014 kwam het tweede album van Dot Hacker uit, How's Your Process (Work).
Op 20 januari 2017 bracht Dot Hacker hun derde album uit, genaamd N°3.
Red Hot Chili Peppers
Van 2007 tot december 2019 speelde Klinghoffer met de Red Hot Chili Peppers.
In 2007 speelde hij in de laatste paar optredens van hun Stadium Arcadium-tour, als tweede gitarist, achtergrondzanger en keyboardspeler. Deze tour zou uiteindelijk de laatste tour van John Frusciante met de band zijn. Na deze tour namen de Red Hot Chili Peppers een pauze die uiteindelijk tot 2009 zou duren. In 2009 maakten de Peppers en Frusciante bekend dat Frusciante al een jaar daarvoor, in 2008, de band had verlaten en vervangen zou worden door Klinghoffer. In januari 2010 trad Klinghoffer voor het eerst op als leadgitarist en werd bekendgemaakt dat de Peppers, inclusief Klinghoffer, bezig waren met hun tiende album I'm with You. Het album werd op 29 augustus 2011 uitgebracht. In april 2012 werd Klinghoffer opgenomen in de Rock and Roll Hall of Fame als lid van de Red Hot Chili Peppers. Met zijn 32 jaar was Klinghoffer de jongste muzikant ooit en verbrak hij het record van Stevie Wonder die op 38-jarige leeftijd in de Hall of Fame werd opgenomen.
In december 2019 verliet hij de band en kwam Frusciante weer terug.
Pluralone
In november 2019 bracht hij zijn eerste soloplaat uit als Pluralone, genaamd To be one with you. Hierop spelen ook gastmuzikanten als Flea, Eric Avery (ex-Jane's Addiction), Jack Irons (ex-Pearl Jam en Red Hot Chili Peppers), Eric Gardner en Clint Walsh (Dot Hacker) mee.