Hij werd geboren als jongste zoon in een gezin van tien. Twee van zijn broers werden ook jazzmusici: Hank speelde piano en Thad trompet.
In de jaren veertig begon zijn carrière. Hij werkte in het kader van het door het leger opgezette programma Operation Happiness en werkte korte tijd in Detroit. In 1955 probeerde hij bij het ensemble van Benny Goodman te komen, maar een auditie had geen succes. Jones vertrok naar New York en kreeg een plek bij de band van Charles Mingus. Met Jones bracht deze band de plaat J is for Jazz uit.
In 1960 trad Jones toe tot het legendarische John Coltrane Quartet, dat de jazz een geheel nieuwe impuls gaf. Zij vernieuwden de jazz in dezelfde mate als Louis Armstrong en Charlie Parker gedaan hadden. Toch kwam het in 1966 tot een breuk. Jones kon zich niet langer vinden in de richting die Coltrane op wilde en hij verschilde van mening over de drumstijl die de tweede drummer van het John Coltrane Quartet, Rashied Ali voorstond.
Na zijn vertrek bij Coltrane speelde Jones bij Duke Ellington en vormde uiteindelijk zijn eigen band Jazz Machine. Met zijn complexe, polyritmische stijl zorgde hij er mede voor dat het slagwerk een volwaardige rol kreeg in het jazzensemble en dus niet langer een voornamelijk dienende functie vervulde. Time Magazine riep hem uit tot “the worlds greatest rhythmic drummer”, 'de grootste ritmische drummer van de wereld'.
Jones hield zich ook bezig met onderwijs. Hij gaf clinics en schonk daarbij vooral aandacht aan de geschiedenis van de muziek en de techniek van het drummen. Ook gaf hij regelmatig gratis concerten in gevangenissen.
Jones overleed in 2004 aan een hartaanval.
Op de in 2019 door het tijdschrift Rolling Stone gepubliceerde ranglijst van 100 beste drummers in de geschiedenis van de popmuziek kreeg Elvin Jones de 23e plaats toegekend.[1]
