Rose werd geboren in Londen als zoon van Joodse ouders. Hij verhuisde als kind met zijn familie naar de Verenigde Staten, alwaar hij opgroeide in Chicago.
Zijn carrière begon toen hij op zijn 16e bij Ted Fio Rito's band kwam als pianist. Hij was ook pianist voor NBC Radio.[3] Bij deze zender kreeg hij in de vroege jaren 30 zijn eerste opdrachten als arrangeur. Hij maakte onder andere muziek voor het Frank Trumbauer orkest. Tot zijn eerste werken behoren "Break It Down" met Frankie Trumbauer, "Transcontinental," "Plantation Moods," en een stuk muziek dat onder drie verschillende titels is opgenomen: "I've Got It", "Itchola", en "Jigsaw Rhythm."
Rose's succes als arrangeur maakte dat hij gevraagd werd naar Hollywood te komen, waar hij zijn eigen orkest oprichtte en daarmee tweemaal per week een show gaf voor Mutual Broadcasting System genaamd California Melodies. Hij werkte zich een weg omhoog naar muziekregisseur voor Mutual network.[4] Rose’s eerste werk als componist was het lied "Holiday for Strings".[3] Tijdens de Tweede Wereldoorlog diende Rose in het Amerikaanse leger, waar hij Red Skelton leerde kennen. Skelton vroeg Rose om dirigent te worden voor zijn Raleigh Cigarettes Program. Rose ging op dit aanbod in en trad in 1948 toe tot de cast. De komende 20 jaar bleven hij en Skelton samenwerken.[3][5]
Het lied "Holiday for Strings" verkreeg grote bekendheid als titelsong van Red Skelton’s programma’s.
Privéleven
David Rose trouwde op 8 oktober 1938 met actrice Martha Raye.[8] Hun huwelijk eindigde op 19 mei 1941 in een echtscheiding. Op 28 juli 1941 trouwde Rose met actrice en zangeres Judy Garland.[9] Dit huwelijk strandde in 1944. Beide huwelijken bleven kinderloos.
Met zijn derde vrouw, Betty Bartholemew, kreeg Rose twee dochters. Zijn kleindochter is singer-songwriter Samantha James.[3]