Dès l'âge de 12 ans, Collette apprend le saxophone alto et dirige son propre groupe avec Britt Woodman au trombone et Charles Mingus à la contrebasse. À 17 ans, il commence une carrière professionnelle. Après avoir fait son service militaire comme leader d'un orchestre de la marine, il joue avec les Stars of Swing (Étoiles du swing) (dont font également partie Woodman, Mingus et Lucky Thompson). Avec le saxophoniste Dexter Gordon, le contrebassiste Charles Mingus et le batteur Chico Hamilton, il contribue à maintenir le bebop dans le voisinage de Central Avenue, l'avenue historique de Los Angeles.
Dans les années 1950, il travaille comme musicien de studio; à cette époque il est le premier musicien Afro-américain à se produire à la télévision, dans l'émission de Groucho MarxYou Bet Your Life.
In 1955, il est le cofondateur du quintet légendaire de Chico Hamilton dont la composition, plutôt originale, comprend le guitaristeJim Hall le violoncelliste (et pianiste) Fred Katz. Une année après, Collette enregistre Man of Many Parts, son premier album en tant que leader.
En 1996, la Bibliothèque du Congrès passe à Collette la commande d'un concert pour big band, qui retracerait sa carrière. Une attaque cérébrale en 1998 l'empêche de continuer à jouer mais Collette reste actif dans le domaine de l'éducation artistique. Avec Steven Louis Isoardi, il écrit une autobiographie titrée Jazz Generations: A Life in American Music and Society (Bayou 2000).
