Z wykształcenia prawnik, kształcił się na Uniwersytecie Wiedeńskim. Studiował również ekonomię. Od drugiej połowy lat 70. zawodowo związany z sektorem finansowym, pracował głównie w instytucji Oesterreichische Kontrollbank. Zaangażował się w działalność polityczną w ramach Socjaldemokratycznej Partii Austrii. Został bliskim współpracownikiem Franza Vranitzkiego. Był sekretarzem do spraw polityki gospodarczej, gdy ten pełnił funkcję ministra finansów (1984–1986), a także doradcą do spraw polityki gospodarczej i kulturalnej w pierwszych latach sprawowania przez tegoż urzędu kanclerza (1986–1988). Pod koniec lat 80. Rudolf Scholten zajmował stanowisko sekretarza generalnego austriackiego zrzeszenia teatralnego[1].
Później w randze ministra wchodził w skład kolejnych gabinetów Franza Vranitzkiego. Od grudnia 1990 do listopada 1994 pełnił funkcję ministra edukacji i sztuki (do stycznia 1991 odpowiadał również za sport). Następnie do kwietnia 1996 sprawował urząd ministra nauki i badań naukowych, a od stycznia 1995 dodatkowo zajmował się sprawami sztuki. Od marca do kwietnia 1996 jednocześnie tymczasowo zarządzał ministerstwem gospodarki publicznej i transportu. Od maja 1996 do stycznia 1997 zajmował stanowisko ministra nauki, transportu i sztuki[1][2]. W międzyczasie od listopada do grudnia 1994 i od stycznia do marca 1996 wykonywał mandat posła do Rady Narodowej XIX i XX kadencji[1].
W 1997 powrócił do pracy w instytucji Oesterreichische Kontrollbank, obejmując funkcję członka rady dyrektorów. W latach 2014–2016 był jej dyrektorem generalnym[3]. Został też prezesem Bruno Kreisky Forum für internationalen Dialog oraz przewodniczącym rad nadzorczych festiwalu kulturalnego Wiener Festwochen i Austriackiego Instytutu Filmowego[3].
