Heinz Rühmann s-a născut în Essen[9] și a crescut în Wanne, Bazinul Ruhrului, unde părinții lui luaseră în arendă birtul de la stația de cale ferată.[10] Deja la 5 ani, Heinz a început să joace roluri mai mici pe scena improvizată din birt, unde câștigă simpatia clienților, prin recitări și prin improvizațiile sale hazlii. Această experiență din copilărie a avut un efect pozitiv asupra procesului de formare a actorului de mai târziu. În 1913 familia Rühmann a deschis hotelul Handelshof în Essen,[10] care avea o cafenea și un restaurant. Aceast proiect a depășit posibilitățile financiare ale familiei, care a ajuns în pragul ruinei.[10] Dezastrul financiar a provocat o criză în sânul familiei, lucru care a dus în anul 1915 la divorțul părinților.[10] Tatăl lui, Hermann Rühmann, se mută la Berlin unde probabil se sinucide.[11] Fosta soție și cei trei copii rămân în Essen, iar ulterior se mută în 1916 la München. Aici duc o viață plină de lipsuri. Heinz Rühmann urmează fără prea mult interes școala reală Luitpold.
După luarea bacalaureatului, pentru a-și ajuta financiar familia, apare pe scena unui teatru clandestin din München. Actorul bavarez Ernst von Possart (1897-1921) îl sfătuiește să renunțe la planurile lui de a deveni actor. La șase luni după acest incident este remarcat ca talent și este angajat de Richard Gortner, directorul teatrului din Breslau (azi Wrocław). Cu puțin înainte de ocuparea noului loc de muncă în Breslau, un medic diagnostichează la Heinz o paralizie a feței datorată unei inflamații a nervului facial, cauzată probabil de o răceală netratată. În ciuda sfatului medical se duce la Breslau, de unde este trimis acasă pentru a se trata. După câteva săptămâni paralizia feței se vindecă, în schimb el nu va avea pe scena din Breslau, succesul scontat. La venirea lui Paul Barnay, noul director de teatru, contractul de muncă a lui Heinz nu va mai fi reînnoit, motivul invocat fiind lipsa de talent. Spre norocul lui este angajat la un teatru din Hanovra, unde de asemenea are o serie de probleme din cauza vârstei tinere și a staturii sale scunde. Succesul lui ca actor va începe abia pe scena teatrului din Bremen, succes care va dura timp de 30 de ani, el devenind unul dintre cei mai renumiți actori germani. În perioada nazismului german Rühmann se abține de a se amesteca în viața politică. În 1938 divorțează de soția sa, care era evreică. El se recăsătorește cu o actriță suedeză și înainte de izbucnirea războiului se mută la Stockholm. El respinge critica cum că divorțul său ar fi avut loc pentru salvarea carierei sale. După spusele Herthei Feiler, a doua soție a lui, prima lui căsătorie era într-o perioadă de criză, și pe lângă aceasta și bunicul soției a doua era evreu.
În 1995, Heinz Rühmann a fost distins postum cu Premiul Camera de Aur ca „cel mai mare actor german al secolului”.[12]
Michaela Krützen: „Gruppe 1: Positiv“ Carl Zuckmayers Beurteilungen über Hans Albers und Heinz Rühmann. In: Carl Zuckmayer Jahrbuch/ hg. von Günther Nickel. Göttingen 2002, S. 179-227