Erxleben obtient un titre de docteur en médecine en 1767 à l’université Georg-Augusta de Göttingen. C’est dans cette institution qu’il enseigne la physique et la chimie.
Il fait paraître Anfangsgründe der Naturlehre et Systema regni animalis (1777).
Il est considéré comme l’un des fondateurs de la médecine vétérinaire moderne.
Sa mère, Dorothea Christiane (1715-1762), est célèbre pour être la première femme à avoir obtenu un doctorat en médecine en Allemagne.