Herman werd op 6 augustus 1081, toen Hendrik IV in Italië verbleef, door de edelen van Zwaben en Saksen tot Duits tegenkoning verkozen, in opvolging van Rudolf van Rheinfelden. Herman had deze verkiezing te danken aan de machtsstrijd tussen de verschillende fracties van de opstandelingen: hoewel hij zelf geen vooraanstaande leider van de opstand was, was hij wel een goede compromisfiguur. Vijf dagen later versloeg Herman hertog Frederik I van Zwaben bij Höchstädt an der Donau. Herman belegerde daarna de stad Augsburg maar moest dat beleg na drie weken opgeven. Hij trok naar Saksen en werd in Eisleben als koning gehuldigd. Op 26 december 1081 werd hij in Goslar gekroond door de bisschop van Mainz.
In 1083 maakte Herman plannen voor een veldtocht naar Italië. Hij verzamelde een leger aan de Donau maar zag van zijn plannen af nadat Otto I van Northeim, zijn belangrijkste veldheer, overleed. Hendrik IV kwam in 1084 terug uit Italië en Herman moest voor hem wijken. Hij vluchtte zelfs naar Denemarken. Herman keerde in 1086 terug en belegerde, samen met Welf IV van Beieren, de stad Würzburg. Op 11 augustus versloeg hij Hendrik die de stad wilde ontzetten. Herman en Welf veroverden Würzburg. Toen Hendrik met een groot leger terugkwam, verlieten ze de stad. Herman en Welf trokken ongehinderd door Beieren en veroverden Augsburg.
Herman kreeg er uiteindelijk genoeg van om als tegenkoning een speelbal in de handen van de grote Zwabische en Saksische edelen te zijn. Hij werd door hen niet als koning en niet eens als gelijke behandeld, alle beslissingen werden zonder hem genomen. Herman trok zich in 1086 terug op zijn eigen bezittingen en bemoeide zich alleen nog maar met zijn eigen zaken. Op 28 september 1088 werd hij, bij de bestorming van de burcht van Cochem, getroffen door een steen en kwam daarbij om het leven.
Herman was gehuwd met Sophia van Formbach, zij hadden de volgende kinderen:
Herman II (ca. 1075 - ca. 1135), gehuwd met Agnes van Mousson, dochter van Diederik I van Montbéliard. Ouders van Herman III (graaf van Salm), Hendrik I (graaf van Salm) en Diederik (kanunnik en later abt van Saint Paul in Verdun).
