בשנות ה-90 של המאה ה-19 נחשב הרשמן כשחיין ואתלט בעל שם. באולימפיאדת אתונה (1896), שהייתה האולימפיאדה הראשונה בעידן המודרני, זכה במדליית כסף במשחה ל-100 מטר חופשי בתוצאה של 1:22.8 דקות, אחרי אלפרד האיוש היהודי מהונגריה שקבע תוצאה של 1:22.2 דקות. 8 שחיינים נוספים חלקו את המקום השלישי ולכן לא חולקה מדליית הארד.
בהמשך שימש בוועד האולימפי הלאומי האוסטרי ונבחר להיות יו"ר הוועד. באולימפיאדת סטוקהולם (1912) השתתף בנבחרת הסייפים האוסטרים וזכה עם נבחרתו במדליית כסף בחרב. הוא עלה על דוכן המנצחים וקיבל את המדליה בעודו מחזיק בתפקיד יו"ר הוועד האולימפי האוסטרי, והיה היחיד בתולדות האולימפיאדות שזכה במדליה כשהוא משמש כיו"ר ועד אולימפי של מדינה כלשהי.
