Er war das fünfte von acht Kindern des russischen Sängers Mardko Serkin. Trotz wirtschaftlicher Schwierigkeiten der Familie entfaltete sich das künstlerische Talent Serkins. Eine Mäzenin nahm sich des Zehnjährigen an und stellte auch den Kontakt zu seinem prägendsten Lehrer, zu Arnold Schönberg, her. Im Alter von zwölf Jahren begann Serkin seine Konzertlaufbahn in Wien mit einer vielbeachteten Aufführung von MendelssohnsKlavierkonzert g-Moll. 1920 brach er in Berlin zur großen Solistenkarriere auf.
1933 musste er seiner jüdischen Herkunft wegen Nazi-Deutschland verlassen. Er ging in die Schweiz nach Basel. 1932 war Adolf Busch an den Schnitterweg nach Riehen bei Basel in ein – selbst entworfenes – Doppelhaus gezogen. Die andere Hälfte bezog Rudolf Serkin, der 1935 Buschs Tochter Irene heiratete.
Im Januar 1939 erreichte Serkin sein zweites Exilland, Kenia. Zusammen mit seiner Ehefrau und seiner Schwester Lotte sowie deren Ehemann Oswald Fischer (Theaterregisseur aus Wien). Für ein Jahr lebte das Ehepaar Serkin bei dem österreichischen Ehepaar Bauer, beide Flüchtlinge aus Wien. Das Ehepaar Serkin war völlig mittellos, fand zunächst keine Arbeit in Kenia.[1]
Serkin war ein Pianist, der nicht durch Exzentrik Aufsehen erregte, sondern sich durch klares und dabei spannungsreiches Spiel auszeichnete. Schönberg-Schüler einerseits und überzeugender Interpret des klassischen Repertoires andererseits – das war für Serkin kein Widerspruch. Er verstand Modernität und Aktualität immer unabhängig von den Lebensdaten einzelner Komponisten. Beethoven, Schubert, Brahms oder Reger – sie wurden unter seinen Händen stets zu aktuellen Komponisten, ihre Werke zur musikalischen Gegenwartserfahrung.
Ein später Höhepunkt seiner Karriere wurde der unvollendet gebliebene Zyklus der Klavierkonzerte von Wolfgang Amadeus Mozart unter Claudio Abbado, der Anfang der achtziger Jahre in London aufgenommen wurde.
Rudolf Serkin war der Vater des Pianisten Peter Serkin.