Griffin lernte mit zwölf Jahren Trompete und zog als Zwanzigjähriger nach New York City, um als Profimusiker zu arbeiten, zunächst bei Charlie Barnet. Er wurde nach einem kurzen Gastspiel bei Ben Pollack 1936 Mitglied des Benny Goodman Orchestra, in dem er zusammen mit Harry James und Ziggy Elman den Trompetensatz bildete, den Duke Ellingtonthe greatest trumpet section that ever was nannte.[1] 1939 verließ Griffin die Goodman-Band. Er heiratete die Bandsängerin Helen O’Brien und arbeitete in den folgenden Jahren bei CBS-Radio in New York. Als Mitglied des Bob Haggart Orchestra begeietete er Ella Fitzgerald bei ihrem Hit „That’s My Desire“; der Song gelangte auf #3 der „Race Records“ Charts 1947.