Lasciò la Germania nazista nel 1936, per il Mandato britannico della Palestina, ora Israele, in quanto il nazismo lo aveva allontanato dal suo incarico all'Opera di Francoforte nel 1933 e aveva vietato agli Ebrei di suonare in tutte le orchestre del paese. Con il fondatore Bronisław Huberman, divenne direttore principale dell'Orchestra Sinfonica di Palestina, che in seguito divenne l'Orchestra filarmonica d'Israele; stava appunto conducendo l'Orchestra quando Arturo Toscanini lo incontrò: era il 1936. Toscanini lo volle come assistente per la preparazione dei suoi programmi alla NBC Symphony Orchestra (1937).
Ha inciso per la Capitol Records, la Classics Command, la Deutsche Grammophon, la Records Everest.
Musicraft con la Filarmonia di Buffalo, la prima registrazione della Sinfonia n. 7 di Šostakovič.
A Steinberg è stata assegnata una stella sulla Hollywood Walk of Fame.
È stato anche membro del Phi Mu Alpha Sinfonia (la fraternità nazionale per gli uomini della musica).
Durante la sua carriera è stato molto apprezzato per lo stile semplice ma espressivo, per la sua familiarità e al contempo integrità e autorità per il suo suono fresco e vitale.
Per i suoi modi sul podio è stato un modello di moderazione; un giorno facendo riferimento ai suoi colleghi più acrobatici disse: «Quanto più si muovono, più tranquillità ricevo».
Ha una vasta gamma di repertorio, tra cui una particolare simpatia per la musica inglese di Elgar e Vaughan Williams. Ha condotto numerose prime esecuzioni, tra cui la prima di Anton Webern, Sei pezzi per Orchestra, Op. 6 negli Stati Uniti.
Durante la sua stagione a Pittsburgh, ha condotto opere di Bartók, Bloch, Britten, Copland, Harris, Honneger, Schumann, Stravinskij, Villa Lobos.
Possedeva un umorismo beffardo: a un intervistatore che gli raccontava di aver sentito dire che il
conduttore non si curava di rilasciare interviste, Steinberg rispose che andava bene ammesso che l'argomento gli interessasse, «per esempio: me stesso».
