Hermann Rudolph navštěvoval v letech 1852–1861 střední školu v rodném Oelsnitzi od roku 1852 do roku 1861. Po škole nastoupil do učení v truhlářské dílně v saském městečku Lichtenstein. Poté studoval na Vévodské stavební a obchodní škole v Holzmindenu (Herzogliche Baugewerkschule Holzminden) a od roku 1868 na Drážďanské umělecké akademii, kterou absolvoval s vyznamenáním.
Zpočátku pracoval v architektonické kanceláři Bernharda Schreibera v Drážďanech a podílel se na výstavbě Albertova divadla (Albert-Theater) a Paláce Kap-herr v Drážďanech. V roce 1872 převzal vedení stavby Městského divadla Teplice.
V roce 1874 se Hermann Rudolph usadil v Teplicích jako architekt na volné noze a již roce 1875 navrhl novou teplickou synagogu, která byla pod jeho vedením dokončena v roce 1882.
V roce 1875 se oženil s Johannou Auguste rozenou Stey, se kterou měl tři děti. Dcera Johanna Emilie Rudolph (1876–1947) se v roce 1910 provdala za Hermanna Dudka († 1910), jednoho ze synů továrníka Bernsdorfské zinkovny Josefa Hermanna Dudka.
Kromě své profesionální práce architekta pracoval Rudolph se svým švagrem Richardem Baldaufem jako důlní podnikatel a od roku 1891 vedl hnědouhelné závody Baldauf-Rudolph v Zabrušanech (něm. Sobrusan). Kromě toho byl Hermann Rudolph městským radním v Teplicích a působil jako mecenáš např. pro Teplitzskou musejní společnost a jako donátor kašny Hermanna Rudolpha v rodném městě Oelsnitz. V roce 1915 vytvořil pro svou rodinu Vilu Rudolph na Elisabethstraße č. 39 (dnes ul. Chelčického) v Teplicích, kde také zemřel.
Byl pohřben na městském hřbitově v Teplicích. V roce 2013 byla na jeho hrob umístěna pametní deska.
Palais Kap-herr (vyhořel v roce 1945, později zbořen)
Městské divadlo Teplice (zničeno požárem v roce 1919)
Nová synagoga v Teplicích (zničena žhářstvím v roce 1939)
Fontána Hermanna Rudolpha v Oelsnitz (renovovaná v roce 2009)
