Townsend vant en olympisk sølvmedalje i fekting under OL 1904 i St. Louis. Han var med på laget som kom på andreplass lagkonkurransen i florett. Det var kun to lag med tre fektere på hvert lag, de andre på sølvlaget var Arthur Fox og Charles Tatham. I den individuelle konkurransen i florett ble han utslått i den innledende runden. Townsend kom på femteplass i kårde.
^sports-reference.com, oppført som Fitzhugh Townsend, Sports-Reference.com olympisk utøver-ID to/fitzhugh-townsend-1, besøkt 7. desember 2017[Hentet fra Wikidata]