Après avoir étudié à la Granoff School of Music, il débute dans des orchestres de rhythm and blues. En 1953, il forme son propre groupe et commence à jouer avec des musiciens de hard bop (Lee Morgan, Jimmy Smith…). Il vit des années difficiles et est obligé d'exercer pour un temps le métier de chauffeur de taxi.
Sur les conseils de Sunny Murray, il est engagé comme percussionniste par le saxophonisteJohn Coltrane pour seconder le batteur Elvin Jones. Il remplace ce dernier et reste avec Coltrane jusqu'en 1967, date de la mort du saxophoniste.
En 1972, il a créé une éphémère compagnie de disques, « Survival Records ». De 1973 à 1979, il a géré un club-restaurant, le « Studio 77 » (alias « Ali's Alley »).
