Karijeru je započeo u ranoj mladosti nastupajući u vodviljima. Taj je posao napustio kako bi kao inženjer hranio porodicu - suprugu i sina Johna koji će kasnije postati veliki režiser. Ubrzo se ispostavilo da mu nedostaju inženjerske vještine, pa se vratio vodvilju gdje je s vremenom izbrusio svoj talent te godine 1924. imao brodvejski debi. Filmsku karijeru je započeo kada je krajem 1920-ih u Hollywood uvedena tehnologija zvučnog filma. Tako se publika mogla upoznati s njegovim vokalnim sposobnostima, ali je uglavnom imao karakterne uloge, od koje su najpoznatije one u filmovima koje je režirao njegov poznati sin John. To uključuje i Blago Sierra Madre, za koje je dobio Oscara za najbolju sporednu ulogu.
