Wildermuth war der Sohn der schwäbischen Schriftstellerin und Jugendbuchautorin Ottilie Wildermuth. Hermann Wildermuth studierte Medizin in Tübingen, Leipzig und Wien. 1872 wurde er Mitglied der Tübinger StudentenverbindungAkademische Gesellschaft Stuttgardia. 1877 wurde Wildermuth in Tübingen promoviert. Er arbeitete als Sanitätsrat und leitender Arzt der inneren Abteilung im Ludwigsspital in Stuttgart und an der Irrenanstalt zu Winnenden.
1889 heiratete er Meta, geb. Glitsch. Das Paar hatte drei Söhne, darunter Eberhard Wildermuth, Bundesminister für Wohnungsbau im ersten Kabinett Konrad Adenauers.