Wilhelm tok pianotimer fra sjuårsalderen fra. Han gikk så på gymnasium i Berlin og Wien. Fra 1942 fikk han med særskilt tillatelse anledning til å studere klaver hos Grete Hinterhofer og komposisjon hos Joseph Marx ved Wiener Musikhochschule.
Tidligere, i 1946, produserte Radio München, forløperen til Bayerischer Rundfunk, med Das Gespenst von Canterville en av sine første hørespill etter den andre verdenskrig. Gjennom broren Kurt Wilhelm, som var regiassistent, fikk den 19 år gamle komponisten sitt første oppdrag. Med en overbevisende komposisjon avanserte Wilhelm til å bli en travelt opptatt frilanser tilknyttet stasjonen. Også for det relativt unge mediet fjernsyn komponerte han musikk til forskjellige tegneserier av Reiner Zimnik, deriblant Jonas der Angler (1954) og Der Kran (1956).
En av hans mest komplekse komposisjoner var til den tyske storproduksjonern Die Nibelungen. Med sitt bearbeidede rytme- og klangskjema fra Mars tilhørende orkestersuiten Planetene av Gustav Holst hører det til standardrepertoaret av stilistiske virkemidler blant filmkomponister i Hollywood.
Videre komponerte Wilhelm musikk til mer enn 250 hørespill, flere enn 350 fjernsynsproduksjoner og om lag 300 reklamefilmer. I tillegg kommer utallige verker innen scenemusikk, orkestersuiter og litterære chansons. Han satte også musikk til tekster, for eksempel av Kurt Tucholsky.
Wilhelm er gift med skuespillerinnen Helga Neuner, som er kjent blant et bredt publikum gjennom en rekke teaterforestillinger og fjernsynsserien Die Firma Hesselbach.
«Deutsche Filmkomponisten, Folge 4, Rolf Wilhelm», Bear Family Records, 2001, BCD 16484 AR
«Rolf Wilhelm 1: Tarabas/Hiob» (regi: Michael Kehlmann), 2006 Alhambra (A 8957)
«Rolf Wilhelm 2: Flucht ohne Ende/Radetzkymarsch» (regi: Michael Kehlmann), 2006 Alhambra (A8958)
«Die Nibelungen», 2001 Cobra (CR 006A/B)
«Und Ewig Singen Die Wälder/Das Erbe Von Björndal», 2000 Cobra
«Loriot: Pappa ante Portas (Soundtrack)»
«Loriot: Ödipussi (Soundtrack)»
«Hugo Hartung - Ich denke oft an Piroschka. Regie: Kurt Wilhelm» ISBN 3-550-09092-7
«Lausbubengeschichten von Ludwig Thoma. Erzählt von Willy Rösner» (lydopptak)
«Kurt Wilhelm - Der Brandner Kaspar und das ewig' Leben. Komödie nach einer Erzählung, Motiven und Gedichten von Franz von Kobell. Musik: Rolf Wilhelm» (lyopptak)
«Jonas der Angler/Lektro: Die verschwundene Melodie. Joachim Fuchsberger liest moderne Märchen von Reiner Zimnik.» (lydopptak)
«Gisela May singt Tucholsky»
«Der Sängerkrieg der Heidehasen. Ein Hörspiel für Groß und Klein von James Krüss.»
Litteratur
Rolf Wilhelm – «Manchmal wird die Musik zugekleistert...», Intervju med Raimund Saxinger og Matthias Büdinger, i: Filmharmonische Blätter. Utgave 7. oktober/november 1987, s. 28-37
Rolf Wilhelm - «Musik bedeutet immerwährendes Asyl», intervju i to deler med Stefan Schlegel, i: Cinema Musica. Utgave 1/juli 2005, s. 53-58 og utgave 2. oktober 2005, s. 50-58