Thalberg werd geboren als zoon van joodse ouders, die Duitse immigranten waren. Als kind kreeg hij acuut reuma, met als resultaat dat hij een zwak hart had. Na zijn schooldiploma, kreeg hij een baan in een van de kantoren van de filmstudio Universal Pictures. Daar werkte hij in dienst van filmpionier Carl Laemmle. Binnen enkele jaren werkte hij zich op naar de top, en al op 21-jarige leeftijd was hij de belangrijkste producent van de studio. Hij had het voor het zeggen bij de grootste filmproducties. Zo eiste hij een langere speelduur voor Foolish Wives (1922) en had het voor het zeggen op de set van The Hunchback of Notre Dame (1923).
Thalberg groeide uit tot een van de machtigste mannen van Metro-Goldwyn-Mayer, geheel tot ongenoegen van Mayer. Toen hij in 1932 een hartaanval kreeg, verving Mayer hem door David O. Selznick en Walter Wanger. Thalberg keerde in 1933 terug naar de filmindustrie maar wist niet meer het aanzien te verwerven dat hij voorheen had. Desondanks werkte hij mee aan enkele van de grootste filmproducties.
