Anthony Ervin a d'abord nagé pour le Canyons Aquatic Club et la William S. Hart High School(en) de Santa Clarita puis, lors de ses études universitaires, pour l'Université de Californie, Berkeley, remportant, tant individuellement qu'avec l'équipe de relais, de nombreuses épreuves lors des championnats NCAA des années 2000 à 2003.
Il est champion olympique du 50 m nage libre en 2000 aux Jeux olympiques de Sydney, devenant le plus jeune champion olympique sur le 50 m nage libre à l'âge de 19 ans.
Puis l'année suivante, dans cette même discipline et celle du 100 m nage libre, champion du monde.
En , il vend aux enchères, sur le site d'eBay, sa médaille d'or olympique pour un montant de 17 100 $ et fait don de cette somme à l'UNICEF pour les victimes du tsunami du .
Anthony Ervin va alors vivre une véritable descente aux enfers : drogues, tentative de suicide, course poursuite à moto avec la police. Pourtant, après huit ans d’abstinence aquatique, d’auto-destruction, de quête spirituelle, de hauts et de bas, Anthony Ervin reprend goût à la natation en donnant des cours à des enfants pour gagner sa vie. Un an et demi avant les sélections américaines pour les Jeux de Londres, il décide même de reprendre l'entraînement.
En 2012, aux sélections américaines, il réalise son meilleur temps sur 50 mètres nage libre en 21 s 60 et termine deuxième derrière Cullen Jones, décrochant ainsi son billet pour Londres. Aux Jeux olympiques, il prend la cinquième place du 50 mètres nage libre en 21 s 78[2].
Lors des Jeux olympiques de 2016 à Rio, il remporte le 50 m nage libre en 21 s 40, seize ans après son titre olympique sur la même distance aux Jeux olympiques de Sydney en 2000. Il gagne de 1/100e sur le Français Florent Manaudou, devenant le premier nageur de plus de 35 ans à gagner un titre olympique. Il gagne également la médaille d'or du relais 4 × 100 m nage libre en faisant partie de l'équipe américaine.
Lors des épreuves qualificatives de l'équipe américaine pour les Jeux olympiques de Tokyo en 2021, il s'élance sur le 50 m nage libre. Il réalise un temps de 22 s 61, ce qui le classe 23e et ne lui permet pas de se qualifier[3].
