Inspirert av grupper som Venom, Slayer og Hellhammer ble Mayhem dannet i 1984 av Euronymous (Øystein Aarseth), Necrobutcher (Jørn Stubberud) og Manheim (Kjetil Manheim) på henholdsvis gitar/vokal, bass og trommer. Denne besetningen ga senere ut demoen Pure Fucking Armageddon i 1986. Demoen ble utgitt på kassett og inneholder ni spor, hvorav de første fem er fra den originale demoen Voice of a Tortured Skull, mens spor 6 til 9 er nyinnspillinger.[5]
Senere ble Maniac (Sven Erik Kristiansen) og Messiah (Eirik Norheim) rekruttert, begge på vokal, og bandets første fullengder studioalbum, Deathcrush ble gitt ut i 1987. (De første tusen eksemplarene ble raskt utsolgt, og den ble trykket opp på ny i 1993 av labelen Deathlike Silence Productions (tidligere Posercorpse).
Både Maniac og Manheim forlot bandet sent i 1987. Etter et mellomspill med Kittil Kittilsen og Torben Grue fra bandet Vomit ble besetningen stabilisert med Per Yngve «Dead» Ohlin og Hellhammer (Jan Axel Blomberg) på henholdsvis vokal og trommer. Konsertene med Dead blir i dag sett på som legendariske på grunn av hans fremtoning og nerve på scenen.
Den 8. april 1991 begikk Dead selvmord ved å skjære opp pulsårene før han skjøt seg selv i hodet med en hagle. Han etterlot seg et avskjedsbrev hvor han beklaget alt blodet samt en unnskyldning for å ha avfyrt våpen innendørs. Euronymous fant liket, men i stedet for å kontakte politiet umiddelbart gikk han til nærmeste butikk hvor han kjøpte et engangskamera for å fotografere liket. Et av disse bildene ble senere brukt på plateomslaget til det colombianske bootleg-albumet Dawn of the Black Hearts fra 1995. Albumomslaget er i senere tid blitt kåret til tidenes mest kontroversielle. Ubekreftede rykter skulle siden ha det til at Euronymous tok deler av Deads hjerne som han så skulle ha spist, og laget smykker av deler av Deads skalle. Bandet har senere gått ut og avkreftet det første ryktet og bekreftet det andre. Euronymous delte ut disse smykkene til norske og svenske musikere han mente var spesielt verdige.
Deres andre utgivelse kom i 1993, med Live in Leipzig, et album med konsertopptak fra deres første album og låter som senere skulle bli utgitt på De Mysteriis Dom Sathanas, som i dag regnes som en av de store black metal-klassikerne.
Samme år drepte bassisten Varg «Count Grishnackh» Vikernes gitaristen Euronymous. Blackthorn (Snorre Ruch) fra bandet Thorns, som var andre-gitarist i Mayhem i denne perioden, ble dømt som medskyldig.