Bailey had in zijn jeugdjaren piano- en fluit-les, maar hij stapte later over op de trompet en concentreerde zich op dat instrument tijdens zijn studie aan het Cleveland Institute of Music. Hij werd beïnvloed door een andere trompettist uit zijn geboortestad, Tadd Dameron en later zou Bailey op zijn beurt weer invloedrijk zijn voor andere musici uit de stad, zoals Bill Hardman, Bobby Few, Albert Ayler, Frank Wright en Bob Cunningham. Bailey speelde overigens met een andere muzikant uit Cleveland, 'Big T' Tony Lovano, de vader van saxofonistJoe Lovano.
In de vroege jaren 40 werkte Bailey met Bull Moose Jackson en Scatman Crothers. Later werkte hij in de bigband van Dizzy Gillespie (1947) en speelde hij (vanaf 1948) in het orkest van Lionel Hampton.[2] Tijdens een Europese toer met Hampton in 1953 besloot hij in Europa te blijven hangen en vestigde hij zich in Zweden, waar hij werkte in de bigband van Harry Arnold. Bailey had een voorkeur voor bigbands en hij speelde in Europa in verschillende bigbands, waaronder de 'Kenny Clarke/Francy Boland Big Band'. Rond 1960 keerde hij enige tijd terug naar Amerika om te kunnen werken met Quincy Jones. In die tijd werkte hij mee aan een album van Freddie Redd's sextet voor Blue Note. Na zijn terugkeer in Europa woonde hij in Duitsland, waar hij lid was van het RIAS Tanzorchester in Berlijn (onder leiding van Werner Müller). Tevens had hij eigen groepen, waarin onder meer Joe Haider en Kurt Bong speelden.