Von Holst ble olympisk mester i skyting to ganger under OL 1912 i Stockholm. Han var med på det svenske laget som vant lagkonkurransen 25 meter rifle, bevegelig mål med 925 poeng foran Storbritannia med 917. De andre på laget var Gustaf Boivie, Eric Carlberg og Vilhelm Carlberg.Von Holst skjøt 238 poeng som var det beste resultatet på det svenske laget samme som Eric Carlberg. I den individuelle konkurransen 25 meter rifle kom han på andreplass bak Vilhelm Carlberg. Han var også med på det svenske laget som vant lagskytingen 30 meter militærpistol.
OL-medaljer
1912Stockholm – Gull i skyting, 25 meter rifle bevegelig mål, lagskyting (Sverige)
1912Stockholm – Gull i skyting, 30 meter militærpistol, lagskyting (Sverige)
1908London – Sølv i skyting, 50 og 100 yards rifle lagskyting (Sverige)
1912Stockholm – Sølv i skyting, 25 meter rifle, forsvinnende mål
1912Stockholm – Bronse i skyting, 30 meter hurtigpistol
(1906Athen – Sølv i skyting, 30 meter duellpistol)