Jones vart fødd i Somerton i Somerset. Han byrja musikkarrieren sin tidleg i 1960-åra som medlem av bandet Nero and the Gladiators, som fekk to mindre hittar i Storbritannia i 1961. Joes arbeidde som låtskrivar og studiomusikar i Frankrike for artistar som Sylvie Vartan og Johnny Hallyday («Den franske Elvis»), som han skreiv mange songar for, mellom andre «Je suis né dans la rue» og «À tout casser» (med Jimmy Page på gitar). Då The Beatles turnerte Frankrike i 1964, vart dei ven med Jones då Hallyday spelte same kveld som dei.
I 1976 danna han bandet Foreigner med Ian McDonald og henta inn vokalisten Lou Gramm. Jones samproduserte alle albuma til gruppa og var med på å skrive dei fleste songane i lag med Gramm. Jones skreiv den mest suksessrike singelen til bandet, «I Want to Know What Love Is».[1][2] Spaningar utvikla seg i bandet i løpet av 1980-åra på grunn av forskjellig musikalsk smak mellom Gramm, som ønskte ein hardare stil, medan Jones var meir interessert i synthesiserar. Gramm slutta i bandet i 1990, men kom attende i 1992. I 1989 gav Jones ut det einaste soloalbumet sitt, Mick Jones på Atlantic Records. Jones er den einaste musikaren som har spelt på alle Foreigner-albuma.
Innimellom arbeidet med Foreigner, har Jones òg vore produsent for album som Van Halen sitt 5150 (1986) og Billy Joel sitt Storm Front (1989).
