Va formar part del cor dels Petits Cantors de Viena, va estudiar al Conservatori de Viena i va fer de mestre del cor al teatre de Brno, on el 1913 va debutar com a director d'orquestra.
L'esposa de Krauss, la soprano Viorica Ursuleac és considerada una de les millors intèrprets del seu temps de la Mariscala (personatge d'El cavaller de la rosa de Richard Strauss).
El 1944 va ser llistat a la Gottbegnadeten-Liste, una llista d'un miler d'artistes considerats com a irreemplaçables que eren exempts de serveis al front per a protegir l'heretatge cultural alemany. El mateix any va retornar a Viena i va dirigir l'últim concert abans de l'entrada de les forces russes. Va ser investigat per associació amb el nazisme i finalment exonerat de culpes el 1947. Krauss va tornar a dirigir a Viena els seus clàssics concerts de cap d'any en el Musikverein i va realitzar gires per Europa, Sud i Amèrica del Nord.