Rudolf Jansen étudie simultanément le piano, l'orgue et le clavecin au Conservatoire d'Amsterdam. Ses maîtres sont Nelly Wagenaar, son père, Simon C. Jansen, Felix de Nobel et Gustav Leonhardt. Ses études s'achèvent avec deux prix d'excellence, un pour le piano et l'autre pour l'orgue.
En 1965, il remporte le Toonkunst Jubileumprijs, et en 1966, le Zilveren Vriendenkrans donné par les amis du Concertgebouw. Il remporte le prix Edison(en) par deux fois, en 1973 avec Han de Vries(en) (hautbois) et en 1987 avec Dorothy Dorow(en) (soprano).
Il enseigne au Conservatoire Sweelinck d'Amsterdam et donne régulièrement des classes de maître pour le chant et le piano, tant aux Pays-Bas qu'à l'étranger.
En 2017, il donne son dernier concert à l'occasion d’une soirée qui lui est consacrée au Concertgebouw d’Amsterdam[1].
Rudolf Jansen meurt le , à l'âge de 84 ans[2],[1].