Conosciuto come il boss del Blues e Big Joe Turner, Turner nacque a Kansas City e scoprì il proprio amore per la musica frequentando la chiesa. Il padre morì in un incidente ferroviario quando Joe aveva solo quattro anni. Ben presto Turner cominciò a cantare per strada e, all'età di 14 anni, lasciò la scuola per lavorare nel mondo dei club di Kansas City, dapprima come cuoco e poi come cantante-barista. Lavorò in locali quali il Kingfish Club e il Sunset, dove si esibì con il compagno pianistaPete Johnson.
La sua collaborazione con il pianista di boogie-woogie Pete Johnson si rivelò fruttuosa. I due andarono a New York nel 1936, dove si esibirono con Benny Goodman. Turner disse in seguito: "Dopo il nostro show con Goodman sostenemmo diverse audizioni, ma New York non era ancora pronta per noi, così tornammo a Kansas City."[senza fonte]
Alla fine, nel 1938, Turner e Johnson furono scoperti da John Hammond, che li invitò a prendere parte ad uno dei suoi concerti From Spirituals to Swing, al Carnegie Hall di New York. Questo concerto fu determinante per far conoscere il jazz e il blues ad un pubblico sempre più ampio.
Nel 1941 Turner si spostò a Los Angeles, dove recitò in Jump for Joy, un musical di Duke Ellington. La sua parte era quella di un poliziotto-cantante, in uno sketch chiamato He's on the Beat. Nel 1945 aprì a Los Angeles il proprio locale, "The Blue Moon Club".
Turner partecipò a molti dischi, oltre che con Pete Johnson, anche con i pianisti Art Tatum e Sammy Price e con vari gruppi jazz.
Molti sono i grandi successi firmati da Turner fino agli anni sessanta: Chains of Love, Sweet Sixteen e la fortunata canzone del 1954, Shake, Rattle and Roll.
Negli anni sessanta e settanta Turner abbandonò la musica popolare, per tornare alle proprie origini di cantante jazz. In questi anni lavorò anche con il pianista tedescoAxel Zwingenberger.
Negli anni Turner ebbe numerosi riconoscimenti ufficiali: dall'Esquire magazine award come voce maschile nel 1945, al Melody Maker award come migliore "nuova" voce nel 1956, al British Jazz Journal award come miglior voce maschile nel 1965.
