Il suo uso sofisticato dell'armonia, che includeva l'uso di sostituzioni tritonali (flat fifth substitution), lo portò ad essere considerato un trait-de-union fra l'epoca di Louis Armstrong e l'epoca del bebop.
Il potenziale ritmico che imponeva alle sue band fu un distintivo dell'epoca dello swing, al bivio fra il jazz degli albori ed il jazz moderno.
Roy apprese i rudimenti della musica dal fratello Joe cominciando a sei anni a suonare la batteria, ma quando Roy iniziò la carriera professionale nel 1927 suonava già la tromba, mostrando l'influenza di Coleman Hawkins. Dopo un breve periodo con Fletcher Henderson, nel 1930 arrivò a New York dove si guadagnò l'attenzione del pubblico suonando in varie band sino al 1939 quando ne creò una sua per vari contratti di registrazione. Ma nonostante questo nel 1941 lo troviamo nella band di Gene Krupa e nel 1944 in quella di Artie Shaw. Sopraffatto in patria dal bebop, insieme a Norman Granz cominciò a suonare all'estero, in particolare in Europa e Giappone riscuotendo buoni successi.
Negli anni settanta tornò a suonare con una sua band a New York ed insieme con Granz riprese a fare tournée in tutto il mondo fino al 1978, anno del suo ritiro dalle scene musicali.