Thomas konatiĝis kiel aldosaksofonisto en la orkestro de Horace Henderson (1929/1930), transiris poste dum sia membreco en la bando de Stuff Smith en 1930/31 al tenorsaksofono. Ekde 1932 li laboris ĉe Jimmie Lunceford kaj apartenis al la bando ĝis la morto de Lunceford en la jaro 1947, en kiu li ofte soloois kaj foje ankaŭ kantis. Joe Thomas kaj Ed Wilcox direktis poste dum unu jaro la Lunceford-Band kiel fantombando.
Fine de la 1940-aj kaj en la fruaj 1950-aj jaroj li direktis ritmenbluso-sesopon, en kiu ludis i.a. Emmett Berry kaj George Duvivier; li poste tamen forlasis la muziknegocon, por labori meze de la 1950-aj jaroj en la familia entrepreno. En la 1960-aj jaroj li denove komencis foje prezenti, ekz. en 1970 je la New York Jazz Festival kaj en 1968 je la Newport Jazz Festival, kie li sub Count Basie ludis aranĝaĵojn de Lunceford. Ekde fine de la 1970-aj kaj komence de la 1980-aj jaroj ekestis ankaŭ sonregistraĵoj je propra nomo, i.a. kun Jimmy Rowles (1979) kaj Jay McShann (1982).
La tenorsaksofonisto ne estas intermiksenda kun la samnoma svingotrumpetisto Joe Thomas, kiu i.a. ludis en la orkestro de Fletcher Henderson.