Rudolph zählte zu den Gründern der CDU im Kreis Segeberg und wurde 1955 in den Landesvorstand der CDU Oldenburg gewählt. Er war 1945 Bürgermeister und Amtsvorsteher im Kreis Segeberg und von 1946 bis 1948 Leiter des Amtes für Wirtschaft und Aufbau im Kreis Rendsburg. Nach der Landtagswahl vom April 1955 wurde er im Mai als Sozialminister in die von Ministerpräsident Heinrich Hellwege geführte Regierung des Landes Niedersachsen berufen. Diese Funktion übte er bis November 1957 aus, als das Sozialministerium mit dem Eintritt der SPD in die Landesregierung von Georg Diederichs übernommen wurde.
Nach seinem Ausscheiden aus der Landesregierung übernahm Rudolph die Direktion der Abteilung Wirtschaft und Finanzen bei der EURATOM und die Leitung der Division Business Management bei der OEEC bzw. ab 1960 der OECD. Von 1966 bis 1970 war er Erster Direktor der malaiischen Bundesbehörde Federal Industrial Development Authority (FIDA) mit Sitz in Kuala Lumpur. Des Weiteren bekleidete er Führungspositionen in der Industrie, so unter anderem bei Olympia, der AEG, bei Telefunken sowie bei Litton Industries.
Rudolph war Mitglied im Präsidium der Deutschen Gesellschaft für Freizeit sowie Mitglied der Stiftungsräte der Ludwig-Erhard-Stiftung in Bonn und der Rhein-Ruhr-Stiftung in Essen. In seinen letzten Lebensjahren wirkte er als Professor für Kunstgeschichte an der Katholischen Universität Löwen sowie als Berater und Sachverständiger in Düsseldorf.
Heinz Rudolph wurde auf dem Berliner Friedhof Zehlendorf (Feld 006-327) beigesetzt.
Christian Gerlach: Kalkulierte Morde. Die deutsche Wirtschafts- und Vernichtungspolitik in Weißrussland 1941 bis 1944. Hamburger Edition, Hamburg 1999, ISBN 3-930908-54-9.
Norbert Beleke (Hrsg.): Wer ist wer? Das deutsche Who’s who. 37. Ausgabe 1998/1999. Schmidt-Römhild, Lübeck 1999, ISBN 3-7950-2026-3, S. 1177.
Rudolf Klein: Niedersachsenlexikon. Alles Wissenswerte über das Land Niedersachsen. Umschau-Verlag, Frankfurt am Main 1969, S. 328.