Michael Amott perusti Arch Enemyn vuonna 1995 Carcassin hajottua.[1][2] Alkuperäiseen kokoonpanoon kuului Amottin lisäksi hänen veljensä Christopher Amott, laulaja Johan Liiva sekä rumpali Daniel Erlandsson. Yhtyeen ensilevy Black Earth sai hyvän vastaanoton Japanissa ja kohtalaisen Ruotsissa. Black Earthin kappaleet kirjoitti Michael Amott kokonaan itse.
Vuonna 1999 Sharlee D'Angelo tuli soittamaan bassoa ja Daniel Erlandsson tuli takaisin rumpuihin. Burning Bridges julkaistiin vuonna 1999 ja pian sen jälkeen Burning Japan Live 1999, joka alun perin julkaistiin vain Japaniin mutta levitettiin myöhemmin muuallekin maailmalle kysynnän vuoksi.
Vuonna 2001 Johan Liiva joutui jättämään yhtyeen, koska Michael Amott halusi keulakuvaksi dynaamisemman laulajan. Pian tilalle tuli Angela Gossow, saksalainen amatööritoimittaja ja laulaja, joka oli aiemmin antanut haastattelun yhteydessä Michael Amottille demonauhansa kuunneltavaksi. Ensimmäinen levy jolla Angela Gossow lauloi oli 2001 julkaistu Wages of Sin.
Vuonna 2003 julkaistiin Anthems of Rebellion ja seuraavan vuoden marraskuussa EP Dead Eyes See No Future. Vuonna 2005 toukokuussa Arch Enemy sai valmiiksi kuudennen levynsä Doomsday Machine. Kesäkuussa Christopher Amott lähti keskittyäkseen yksityiselämäänsä. Hänen tilallensa tuli väliaikaisesti kitaristi Gus G. yhtyeestä Firewind ja myöhemmin vakituiseksi kitaristiksi Fredrik Åkesson. Arch Enemy tunnetaan teknisesti taitavista kitaristeistaan. Yhtyeen kitaroinnissa on paljon vaikutteita progressiivisesta ja neoklassisesta metallista.
Vuonna 2007 toukokuussa Fredrik Åkesson joutui jättämään yhtyeen, kun se ilmoitti Christopher Amottin paluusta yhtyeeseen. Yhtyeen uusin albumi The Root of All Evil julkaistiin Euroopassa 28. syyskuuta 2009, Pohjois-Amerikassa taasen 6. lokakuuta 2009.
17. maaliskuuta 2014 yhtyeen Facebook-sivulla kerrottiin Angela Gossow'n jättävän yhtyeen. Angela kuitenkin jatkaa bändin "managementissa". Uudeksi vokalistiksi on valittu Alissa White-Gluz (ex-The Agonist).
17. marraskuuta 2014 Jeff Loomisin kotisivuilla ilmoitettiin hänen liittyneen yhtyeen kakkoskitaristiksi.[3]
Joulukuussa 2023 yhtyeen kotisivuilla tiedotettiin, että yhtyeen ja Jeff Loomisin tiet ovat eronneet ystävällisissä merkeissä. Loomisin korvasi häntä jo aiemmin kesän 2018 Euroopan-kiertueella tuurannut Joey Concepcion.[4]
