Wilson opiskeli pianon- ja viulunsoittoa Tuskegeessä, Alabamassa. Hän soitti Louis Armstrongin kanssa Speed Webbin yhtyeessä ja Earl Hinesin Grand Terrace Cafe Orchestrassa, kunnes liittyi Benny Carterin Chocolate Dandies -yhtyeeseen 1933. Kahta vuotta myöhemmin hän siirtyi Benny Goodmanin trioon, jonka kolmas jäsen oli rumpali Gene Krupa. Kokoonpanosta tuli kvartetti, kun Lionel Hampton liittyi mukaan. Wilsonista tuli näin yksi ensimmäisistä mustista muusikoista, jotka esiintyivät näkyvästi valkoisten jazzmuusikoiden kanssa.
1960–1970-luvuilla Wilson vietti hiljaiseloa New JerseynHillsdalessa, mutta teki sooloesiintymisiä ja oli mukana vaihtuvissa kokoonpanoissa, joista yksi oli hänen ja kahden poikansa muodostama trio, Theodore Wilson bassossa ja Steven Wilson rummuissa. Hänellä oli yhteensä viisi lasta.