Der Vater war Oberlokführer bei der Großherzoglich Hessischen Eisenbahn, seine Mutter stammte aus dem Hause derer „von Adelseck“ (Adolfseck). Herrmann hatte eine Schwester und einen Bruder. Als Kind sang er im Kinder- und Kirchenchor, als Jugendlicher übernahm er in Gesangsvereinen schon nach kurzer Zeit Solopartien.
Er erlernte im Lokomotiv-Ausbesserungswerk Darmstadt das Schlosserhandwerk.
Nachdem der Großherzog von Hessen-Darmstadt bei einem Auftritt des Gesangsvereins auf Herrmann aufmerksam geworden war, gewährte dieser ihm ein Stipendium, welches ihn in die Lage versetzte, gegen den Widerstand seiner Eltern die Lehre abzubrechen und bei dem Darmstädter Professor Carl Beines und Hofrat Paul Ottenheimer eine Gesangs- und Schauspielerausbildung zu beginnen. Während des Studiums arbeitete er beim Landestheater Darmstadt als Statist und Bühnenarbeiter.
Nach ersten Auftritten in Darmstadt folgten Engagements in Königsberg, Stettin und Nürnberg, weitere schlossen sich unter anderem in Stuttgart, Mannheim und Karlsruhe an. Später folgten Auftritte in Mailand, Bordeaux, Marseille, New York und San Francisco.
Nach dem Krieg ging er nach Berlin, die 1. Ehe wurde geschieden und er heiratete ein zweites Mal. Aus dieser Ehe entstammt eine Tochter. Er war mit dem Dresdner Maler Fritz Leopold Hennig und dem Künstler Manfred Luther befreundet. Herrmann erteilte auf Anregung von F. L. Hennig dessen damaliger Ehefrau Ursula Hennig (geb. Steinbicker) Gesangsunterricht (sie sang später unter dem Namen Ursula Challier).
Herrmann sang an allen drei Berliner Opernhäusern: an der städtischen Oper in West-Berlin, der Staatsoper Unter den Linden und der Komischen Oper. Zur Neueröffnung der Deutschen Staatsoper am 4. September 1955 gab er den Hans Sachs. An der Komischen Oper sang er den Märchenkönig aus Carl OrffsDie Kluge.
Auf ärztlichen Rat brach er zu einem längeren Erholungsurlaub auf, starb aber während der Reise in die Schweiz in einem Rasthof in Hildesheim. Sein Grab befindet sich auf dem Waldfriedhof Weißer Hirsch in Dresden. Am 15. August 1962 wurde eine Straße in Dresden, zu Ehren von Josef Herrmann, in Josef-Herrmann-Straße umbenannt.[2]
Josef Herrmann als Wotan, 1947
Josef Herrmann, Ölgemälde von Fritz Leopold Hennig
J. Herrmann im Atelier von Fritz Leopold Hennig
Gesangsunterricht bei J. Herrmann mit Ursula Hennig
↑Herrmann, Josef. In: Theodor Kellenter: Die Gottbegnadeten : Hitlers Liste unersetzbarer Künstler. Kiel: Arndt, 2020, ISBN 978-3-88741-290-6, S. 247f.