Wilson ble født i Shelby i Mississippi 4. september 1918. Wilson ble med i Jimmie Lunceford Orchestra i 1939, og erstattet samtidig stjernetrompetisten og arrangøren Sy Oliver. Mens han var med Lunceford, bidro han med nummer til bandets bok, inkludert «Hi Spook» og «Yard-dog Mazurka».
Andre verdenskrig
Under andre verdenskrig spilte Wilson en kort tid med U.S. Navy, med musikere som Clark Terry, Willie Smith og Jimmy Nottingham. I de senere år (rundt år 2005) spilte mange av bandets medlemmer sammen i det de kalte The Great Lakes Experience Big Band, med Wilson som dirigent og Ernie Andrews som invitert gjesteartist.
På midten av 40-tallet startet Wilson sitt eget band med stor suksess. I 1960 startet Wilson et Los-Angeles-basert band som hadde en rekke gode innspillinger på plateselskapet Pacific Jazz.
I juni 2007, returnerte Wilson til platestudio med produsenten Al Pryor og et All star big band for å spille inn et spesialalbum for Montrey Jazz Festivals 50-årsjubileum.