Rudolph war der 12. und jüngste Sohn des Großherzogs der Toskana und späteren Kaisers Leopold II. Zunächst scheint er eine militärische Karriere eingeschlagen zu haben, denn einige Jahre (1802–1809) war er Inhaber des Infanterieregiments No. 14.
1816 jedoch trat er in den geistlichen Stand und wurde im Konsistorium vom 4. Juni 1818 von Papst Pius VII. zum Kardinal mit der TitelkircheSan Pietro in Montorio erhoben. 1819 wurde er zum Erzbischof von Olmütz ernannt und als solcher inthronisiert.
Rudolph war ein großer Freund und Förderer der Kunst. Er spielte selbst Klavier und komponierte auch. Etwa 1808 wurde er Schüler von Ludwig van Beethoven und war zugleich der Einzige, den Beethoven zu dieser Zeit noch unterrichtete. Ab 1809 zahlte er ihm eine jährliche Rente von 1500 Talern, um ihn in Wien zu halten. Beethoven widmete ihm zahlreiche bedeutende Werke, darunter: