Schwartz vant en olympisk sølvmedalje i vannpolo under OL 1932 i Los Angeles. Han var med på det tyske laget som kom andreplass i vannpolo bak Ungarn. Schwartz spilte alle fire kampene og scoret fire mål.
Fire år senere, under OL 1936 i Berlin, deltok han på 100 meter fri, men han klarte ikke å kvalifisere seg for finalen.