Già nel coro di voci bianche della scuola si mette in evidenza per la sua voce e canta spesso le parti di soprano solista. Nasce allora la sua passione per il canto.
Dopo il liceo al "Graues Kloster", studia alla Hochschule für Musik di Berlino con Günter Baum e Jaro Prohaska, e privatamente con Harry Gottschalk.
Nel 1952 vince il Concorso "Meistersinger" a Norimberga, una sorta di torneo in cui lui canta - in tedesco - l'aria da Un ballo in maschera "Eri tu". Il premio è una tournée negli USA. Quello stesso anno canta il suo primo Liederabend e debutta a Wiesbaden come Secondo Prigioniero in Fidelio.
Nel 1954 sposa Barbara Pniok e dal matrimonio nasceranno tre figli: Annette, Florian e Franziska.
Sotto contratto prima al teatro di Amburgo, poi a Wiesbaden, fa preziosa esperienza con piccoli e grandi ruoli prima di cominciare la grande carriera internazionale.
Per il Teatro La Fenice di Venezia nel 1959 tiene un concerto da camera per il XXII Festival Internazionale di Musica Contemporanea nella Sala delle colonne Ca' Giustinian.
Nel dicembre 1960 debutta al Metropolitan di New York come Wolfram in Tannhäuser con Leonie Rysanek diretto da Georg Solti, ruolo che lo consacrerà nel 1965 nel tempio wagneriano di Bayreuth. Fra le recite più memorabili, Die Zauberflöte al "Met" con Pilar Lorengar e Lucia Popp con le scene ed i costumi di Marc Chagall nel ruolo di Papageno (1967). Questi due ruoli sono forse i più amati, quelli in cui più l'interprete si identifica, in un repertorio vastissimo: nell'opera italiana, accanto a Papà Germont, il Marchese di Posa, Dottor Malatesta, Marcello, Sharpless ecc., spicca il personaggio di Figaro: Prey nel 1969 è stato il primo Figaro non italiano al Teatro alla Scala di Milano nella prima rappresentazione di Il barbiere di Siviglia (Rossini) - con Alva, Corena e Teresa Berganza diretto da Claudio Abbado - e nel 1971 al Lyric Opera di Chicago - con Ottavio Garaventa e Marilyn Horne per la regia di Tito Gobbi. Anche il Figaro di Mozart è stato fra i suoi ruoli più famosi, nelle Nozze ha interpretato anche il Conte d'Almaviva, è stato un celebre Guglielmo in Così fan tutte, e Don Giovanni. È stato anche appassionato interprete di un particolare repertorio di opera romantica tedesca, il "Kavalierbariton" protagonista di opere di Albert Lortzing (Zar und Zimmermann, Der Wildschütz, Undine), Heinrich Marschner (Hans Heiling), Victor von Nessler (Der Trompeter von Säckingen), Engelbert Humperdinck (Hänsel und Gretel, Königskinder). Come altri grandi cantanti tedeschi, ha interpretato anche operette (Die lustige Witwe, Der Zigeunerbaron, Boccaccio e molte altre), evidenziando il suo talento di attore e facendo per esempio di Eisenstein, protagonista di Die Fledermaus di Johann Strauss, un altro dei suoi grandi ruoli.
Al San Francisco Opera nel 1963 è Olivier in Capriccio (Strauss) con Elisabeth Schwarzkopf diretto da Georges Prêtre, Guglielmo in Così fan tutte con la Grist e Figaro ne Il barbiere di Siviglia e nel 1982 ne Le nozze di Figaro con la Popp.
Nel Bayerisches Staatstheater im Marstall di Monaco nel 1963 è Don Fernando/Gefangener nella ripresa di "Fidelio" di Ludwig van Beethoven diretto da von Karajan con la Ludwig e Berry e nel 1965 è Germont nella ripresa di La traviata con la Stratas.
A Edimburgo nel 1965 è Robert Storch in Intermezzo di Richard Strauss nella produzione della Bavarian State Opera.
Al Royal Opera House di Londra nel 1973 debutta come Figaro ne Il barbiere di Siviglia con Renato Capecchi, nel 1977 è Figaro ne Le nozze di Figaro diretto da Böhm e Gabriel von Eisenstein in Die Fledermaus con Kiri Te Kanawa diretto da Zubin Mehta, nel 1979 Guglielmo in Così fan tutte diretto da Böhm e nel 1990 Sixtus Beckmesser in Die Meistersinger von Nürnberg.
Ancora alla Scala nel 1974 è il Conte di Almaviva nella prima di Le nozze di Figaro con Mirella Freni, José van Dam e la Berganza diretto da Claudio Abbado, nel 1976 è Guglielmo nella prima di Così fan tutte con Margaret Price, Agnes Baltsa, la Grist e Rolando Panerai diretto da Böhm, nel 1978 tiene un concerto con musiche di Franz Schubert, nel 1985 un concerto con musiche di Carl Loewe, nel 1986 un recital e sei concerti con musiche di Schubert ed è Papageno nella prima di Die Zauberflöte con la Serra, nel 1988 tiene un recital, nel 1990 è Sixtus Beckmesser in Die Meistersinger von Nürnberg diretto da Sawallisch, tiene un concerto con musiche di Schumann e sei concerti e nel 1996 esegue Die schöne Müllerin.
Nei primi anni '80 il suo repertorio wagneriano si arricchisce di Beckmesser in Die Meistersinger von Nürnberg e Friedrich in Das Liebesverbot. Di Richard Strauss ha interpretato fra l'altro Mandryka in Arabella, il Barbiere in una famosa edizione di Die schweigsame Frau accanto a Hans Hotter e al fraterno amico Wunderlich - il suo ultimo ruolo in teatro, il Maestro di Musica in Ariadne auf Naxos.
È stato valido interprete del grande repertorio sacro, sopra tutto di Bach: Messa in Si minore, Cantate e Oratori (in cui interpretava il ruolo di Gesù).
Ma forse la maggior parte della sua carriera fu dedicata con grande passione ai Lieder, che ne evidenziavano la sensibilità e la versatilità. Ha cantato innumerevoli concerti, con un repertorio immenso, testimoniato in parte dalla monumentale incisione "The Prey Lied Edition", realizzata per la Philips nei primi anni '70: in 27 LP prima e poi 20 CD, raggruppati in 4 cofanetti, Hermann Prey canta circa 450 Lieder, dai trovatori medievali ai contemporanei, naturalmente Mozart, Beethoven, Schumann, Brahms, Loewe, Wolf, molti altri e il prediletto Schubert. Hermann Prey fonda diversi festival, le "Schubertiadi" di Vienna, di Hohenems/Vorarlberg e altri festival simili negli USA e in Giappone. Nel 1981 fonda il festival "Herbstliche Musiktage Bad Urach", dedicato non ad un autore ma principalmente alla voce umana - ne sarà direttore artistico fino alla sua morte. Quello stesso anno pubblica l'autobiografia Premierenfieber, "Febbre della prima" (1981), ancora inedita in Italia.
Accanto alla carriera "seria", va ricordato l'amore mai spento per la musica popolare e leggera e una grande popolarità che gli venne da trasmissioni televisive e film.
Al San Diego Opera nel 1987 è Figaro ne Il barbiere di Siviglia e nel 1992 e nel 1997 tiene un recital.
Nel 1988 firma la regia de Le nozze di Figaro al Festival di Salisburgo.
Ha insegnato alla Hochschule für Musik di Amburgo e tenuto masterclass in tutto il mondo - non molte perché sempre impegnato sopra tutto con concerti.
È morto improvvisamente nel luglio 1998 per un collasso cardiaco, pochi giorni dopo un concerto schubertiano al Prinzregententheater di Monaco.
Moltissime incisioni, audio e video, restano a testimonianza dell'arte di Hermann Prey: moltissimi Lieder, oltre quelli già citati, molte riprese dal vivo di opere e concerti: molte delle recite nominate sono registrate in CD. La prima incisione, Ariadne auf Naxos (Harlekin) nel 1954, direttore Herbert von Karajan, l'ultima, una versione orchestrale della Winterreise (1997). Fra le "rarità", Orpheus di Carl Orff e l'oratorio Lazarus di Schubert (Orpheus, registrato dal vivo nella Amanduskirche di Bad Urach nel 1987) che ha ottenuto il "Grand Prix du Disque", così come l'operetta di Suppè Boccaccio (EMI, 1974, direttore Willi Boskosky). Sono usciti recentemente due album antologici per la DGG: "Von ganzem Herzen" (2007), con brani d'opera, alcuni dei quali inediti, e Lieder, e "Die Lieder meines Vaters" (2008), curato dal figlio Florian, anche lui baritono, sorta di "riassunto" in una cinquantina di Lieder della "Prey Lied Edition".
Fra i numerosi importanti riconoscimenti internazionali, ricordiamo che fu nominato Bayerischer Kammersänger (1962), "Cantante dell'anno" 1982 e quello stesso anno entrò a far parte dell'Accademia di Belle Arti di Monaco.
Nell'immediato dopoguerra, canta e suona la fisarmonica in un piccolo complesso di musica leggera, il "Rhytmiktrio", con un vasto repertorio di canzoni prevalentemente americane.
Fra i numerosi ospiti delle sue trasmissioni TV "Schaut' her, ich bin's" (incipit tedesco del Prologo di Pagliacci), Plácido Domingo esordisce alla TV tedesca.
A Krailling, la cittadina nei pressi di Monaco dove Hermann Prey viveva dal 1963 e di cui era cittadino onorario, la famiglia gli ha dedicato una statua di bronzo, opera di Johanna Körner che rappresenta Papageno, il suo personaggio più caro, nel Papageno-Platz. Era cittadino onorario anche di Bad Urach, l'antica cittadina del Baden-Württemberg, sede del "suo" festival, dove nel 2000 gli è stata intitolata una piazza.
Strauss, J., Pipistrello - Kleiber/Varady/Prey, 1975 Deutsche Grammophon
Strauss, R., Ariadne Auf Naxos - Levine/Tomowa-Sintow/Battle/Baltsa/Prey/Wiener Philharmoniker, Deutsche Grammophon - Grammy Award for Best Opera Recording 1988
Prey, Christmas songs - Cornelius/Wolf, 1971 Deutsche Grammophon
