Rosé, som var jude, lämnade 1938 Wien på grund av den nazityska ockupationen och bosatte sig i London. Han var far till Alfred Rosé (1902–1975), pianist och dirigent, samt Alma Rosé (1906–1944), en framgångsrik violinist som slutade sina dagar i förintelselägret Auschwitz.