I the Stones var Jones andre gitarist etter Keith Richards frå starten i 1962 og fram til 1969, berre dagar før han drukna i sitt eige basseng. Jones var kjend for å vere særs intelligent og som barn interesserte han seg tidleg for jazz- og bluesmusikk.
Det var Jones som grunnla The Rolling Stones då han sette inn ei annonse i eit magasin, der han søkte etter musikarar til ei ny R&B-gruppe og det var han som gav bandet namnet deira, som han tok frå ein song av Muddy Waters.[1] Jones tilførte the Stones ein unik stil og blanda inn fleire uortodokse instrument i bandet, som var uvanlege for denne tida. Jones var òg den som lærte Mick Jagger å spele munnspel. Imaget til Jones inspirerte ikkje berre Jagger og Richards, men òg andre artistar som Jim Morrison i The Doors.
Han hadde eit forhold til Anita Pallenberg, men ho forlet han til fordel for Keith Richards, noko som førte til at Jones fekk psykiske problem og hadde vanskeleg med å konsentrere seg om å spele inn musikk eller gjere konsertar. Det siste albumet Jones medverka på var Let it bleed.
Jones sa farvel til bandet etter at Jagger, Richards og Charlie Watts hadde vitja heimen hans og dei gav han beskjed om at det var best om dei heldt fram utan han. Kort tid etter omkom han i sitt eige symjebasseng på Cotchford Farm. Stones hadde planlagt ein konsert i Hyde Park i London, som skulle vere berre to dagar etter dødsfallet til Jones. Då dei fekk vite om dødsfallet avgjorde dei å halde konserten som ei hyllest til Jones.
Jones vart gravlagd i Cheltenham. Bill Wyman og Charlie Watts frå Stones var til stades på gravferda. I 1999 hevda Anna Wolin, som var kjæraste med Jones då han døydde, at han vart myrda av ein bygningsarbeidar, som visstnok tilstod dette på dødsleiet sitt. Dette har sidan vorte avvist.[2]