Issu d'une famille très croyante, Cecil McBee entend dès son plus jeune âge du gospel, mais aussi du blues. C'est à l'école qu'il commence à pratiquer, à la clarinette, sans savoir lire la musique mais d'oreille. C'est après avoir entendu un disque de Dizzy Gillespie quelques années plus tard qu'il passe à la contrebasse. Il joue dans divers groupes de rhythm and blues ou de rock 'n' roll, et étudie la musique classique pour améliorer sa lecture. Il fait sa première tournée à l'âge de dix-sept ans, au sein d'un orchestre de dix-huit musiciennes, les Sweethearts of Rhythm d'Anna Mae Winburn. Après ses études à l'Université de l'Ohio (1953-1959) et quelques engagements avec Melba Liston, Sahib Shihab et Dinah Washington, il rentre à l'armée, où il intègre l'orchestre, aux côtés notamment de Kirk Lightsey.
Contrebassiste au son énorme, Cecil McBee revendique l'influence de Ray Brown. Mais son phrasé très personnel, sa tendance à poser les notes légèrement en arrière du temps et sa polyvalence (avec une préférence pour les atmosphères post-coltraniennes) le rapprochent plutôt de Richard Davis.
