Wilson speelde aanvankelijk piano, tijdens zijn college-jaren in Detroit ging hij trompet spelen. Hij was actief in Plantation Music Orchestra en van 1939 tot 1942 was hij lid van het orkest van Jimmie Lunceford, waarvoor hij ook composities aandroeg ("Hi Spook", "Yard-dog Mazurka") en arrangeerde. Tijdens de Tweede Wereldoorlog speelde hij kort in een legerband, met onder meer Willie Smith, Clark Terry en Jimmy Nottingham. Leden van deze band zouden in 2005 weer samenspelen in de Great Lakes Experience Big Band, met als leider Wilson. In Los Angeles nam Wilson platen op met Benny Carter, Les Hite en Phil Moore.
Bigbands
Rond 1944 formeerde hij zijn eerste bigband waarmee hij een mix van swing en bop speelde en tot in de jaren tien zou hij met onderbrekingen zo'n band leiden. Zijn eerste band bestond maar drie jaar. Hierna werkte hij enige tijd bij Count Basie en Dizzy Gillespie. In 1952 kwam hij opnieuw met een groep waarmee hij kort actief was, hierna werkte hij met onder meer Duke Ellington (waarvoor hij ook charts schreef), Red Callender en Buddy Collette.
Eind jaren vijftig experimenteerde hij met een workshop-band en begin jaren zestig begon hij een groep, waarmee hij een reeks goed ontvangen albums opnam voor Pacific Jazz Records. Verschillende composities van Wilson hadden een Spaans of Mexicaans tintje, zoals "Viva Tirado", dat in 1970 een hit werd voor de Latin-rockgroep El Chicano. Zijn voorliefde voor zulke nummers kan wellicht worden verklaard door de nationaliteit van zijn vrouw, de Mexicaans-Amerikaanse Josefina Villasenor Wilson, met wie hij meer dan vijftig jaar getrouwd was. Wilson is ook een liefhebber van stierengevechten: verschillende van zijn composities zijn vernoemd naar een matador, zoals "Carlos" (Carlos Arruza) en "Lomelin" (Antonio Lomelin).
Verschillende albums van Wilson werden genomineerd voor een Grammy. Voor zijn hoogleraarschap aan UCLA werd hij geëerd als 'leraar van het jaar'. Hij kreeg een NEA Jazz Masters Fellowship voor zijn levenswerk. Het Kennedy Center heeft Wilson het predicaat 'Levende legende van de jazz' gegeven.