El club va ser fundat com SG Aue el 4 de març de 1945. Posteriorment esdevingué BSG Pneumatik Aue (1948), Zentra Wismut Aue (1949), SC Wismut Aue (1951).[1]
El 1954 el govern de la RDA decidí que el club es traslladés a la propera ciutat de Chemnitz (aleshores anomenada Karl Marx Stadt) per crear-hi un club potent i aquest fou reanomenat SC Wismut Karl Marx Stadt. Durant aquests anys el club visqué la seva millor etapa esdevenint dominant al futbol del país.
L'any 1963 Karl Marx Stadt obtingué el seu propi equip i Wismut retornà a la seva ciutat recuperant el seu nom BSG Wismut Aue. El 1990 adoptà el nom FC Wismut Aue abans de prendre l'actual nom de FC Erzgebirge Aue el 1993. El nom fa referència a una serralada propera a la ciutat, les muntanyes daurades o metal·líferes.
