Родился в семье владельца отеля. Детство прошло в городе Ванне-Айкель. В 1913 году семья переехала в Эссен, где купила гостиницу возле Центрального вокзала. В 1916 году родители мальчика разошлись; вскоре после этого отец покончил жизнь самоубийством. Мать с тремя детьми перебралась в Мюнхен. В 1919—1920 годах, после окончания реального училища, Рюман изучал актёрское мастерство и в июне 1920 года получил свою первую роль в театре города Бреслау. В 1922 году он поступил в театр Ганновера, где выступал вместе с Тео Лингеном. Затем работал в театрах Бремена и Мюнхена. В августе 1924 года женился на актрисе еврейского происхождения Марии Хербот.
В кино дебютировал в 1926 году в фильме «Сердце немецкой матери». Его пригласили в Берлин, где он играл в театре вместе с Марлен Дитрих. В 1930 году к актёру пришёл большой успех. После участия в киноленте «Трое с бензоколонки» он стал — наряду с Хансом Альберсом — одним из самых популярных артистов Веймарской Германии.
В годы правления в Германии национал-социалистов старался не вмешиваться в политику и сделал головокружительную карьеру. В 1938 году он развёлся со своей первой женой, которая была еврейкой. В 1939 году женился на актрисе Герте Файлер, с которой познакомился в 1938 году на съёмках фильма «Только ложь». В 1933—1945 годах сыграл в 37 кинофильмах и поставил ещё четыре. Национал-социалисты активно использовали талант актёра в своей пропаганде во время Второй мировой войны. В 1940 году Рюману было присвоено звание «государственного артиста». Несмотря на то, что он был отличным пилотом, его освободили от воинской обязанности, а в августе 1944 года по распоряжению Геббельса внесли в список лиц, не подлежащих мобилизации.
По окончании войны Рюман некоторое время проживал в Восточной Германии и сотрудничал с советскими властями. Однако в марте 1946 года в ходе денацификации ему запретили работать актёром на территории советской оккупационной зоны. Рюман переехал в Западный Берлин. В 1947 году он основал там киностудию Comedia. В 1956 году снялся в кинокомедии «Капитан из Кёпеника», за роль в которой в 1957 году удостоился премии немецких кинокритиков. Советским зрителям картина известна под названием «Сила мундира». В 1960-е годы он играл на сценах Мюнхена и Вены. В 1980 году выступал в программе «Звёзды на манеже» с советским клоуном Олегом Поповым.
Рюман обладал приятным задушевным тенором, пел в кино и с успехом (особенно в 1930—1940-е годы) записывался на пластинки. По крайней мере, три исполнявшиеся им песни признаны в Германии «вечными» шлягерами: «Ich brech' die Herzen der stolzesten Frau’n» (1938), «Das kann doch einen Seemann nicht erschüttern» (матросская песня, 1939) и (колыбельная) «La-Le-Lu» (др.назв. «Unser Lied», 1955). Популярность также получила песня «Wozu ist die Straße da» (1943).
Две улицы в Баварии, где актёр прожил последние годы, названы его именем.
Избранная фильмография
1925 Сердце немецкой матери / Das deutsche Mutterherz
Görtz F. J., Sarkowicz H. Heinz Rühmann 1902—1994. Der Schauspieler und sein Jahrhundert. München, 2001.
Weth G. A. Heinz Rühmann: Lebens-Rezepte eines unsterblichen Optimisten. München, 2002.
Юдин К. А. Кинематограф как «зеркало бытия». Очерки истории западноевропейского киноискусства в лицах (1930—1980-е гг.). — Иваново: «Листос», 2018. — 196 с.