Ervin és el primer nedador descendent d'afroamericans que forma part de l'equip olímpic de natació amb el qual s'ha adjudicat dues medalla d'or olímpiques a la prova dels 50 m estil lliure en els Jocs de Sydney 2000 (en finalitzar amb el mateix temps que el seu compatriota Gary Hall Jr.) i els de Rio 2016. Amb 35 anys, Ervin va proclamar-se el campió olímpic de més edat en una prova individual el 12 d'agost de 2016, superant a Michael Phelps, qui un dia abans va ser campió als 31 anys. A més, el palmarès d'Ervin compta amb una medalla de plata aconseguida a Sydney en els 4x100 m estil lliures.
