Gaye Bykers on Acid est formé à la fin de 1984 par Ian Reynolds et Ian Hoxley. Ils sont ensuite rejoints par le guitariste et étudiant en arts Tony Horsfall et le batteur Kevin Hyde. Leur premier concert se fait au Princess Charlotte de Leicester en 1985.
Le premier single, Everythang's Groovy, et l'EP Nosedive Karma, sont enregistrés à Leeds avec Jon Langford des Mekons, et publié chez InTape[1]. Ils signent ensuite chez Virgin Records publiant les albums Drill Your Own Hole et Stewed to the Gills. Les quantités initiales de vinyles pour Drill Your Own Hole sont pressées sans trou au milieu, qui est nécessaire pour son écoute[1]. L'album passe une semaine à la 95e place de l'UK Albums Chart en [2].
Ils jouent aussi habillés en femmes sous le nom de Lesbian Dopeheads on Mopeds, en soutien à eux-mêmes. Ils incarnent aussi le groupe fictif de thrashpunk, Rektüm publiant un album intitulé Sakredanus et un EP, Real Horror Show sous ce nom. Des problèmes de management et de faibles ventes mèneront à leur renvoi de Virgin en 1989. Ils publieront l'album Cancer Planet Mission sur leur propre label, Naked Brain. Ils recycleront aussi leur nom pour The Purple Fluid Exchange (PFX) afin de publier des chansons plus axées dance. C'est à cette période que Rocket Ronnie se joint à eux comme DJ.
En 1990, ils publient Pernicious Nonsense, leur dernier album studio, enregistré avec Jon Langford aux Stone Room Studios et Alaska St. Studios avec Chelo Zambelli. Le groupe se sépare peu de temps après une tournée américaine et britannique difficile. Deux compilations seront publiées au label Receiver, From the Tomb of the Near Legendary… (1992) et Gaye Bykers on Acid (1993). Une autre compilation bootleg de démos issues de Virgin Records est vendue par leur ex-manager (Tracy Lamott) à Cherry Red Records – Everything's Groovy (2001).
Le , Gaye Bykers on Acid est annoncé pour un dernier concert à l'Indie Daze en . Il s'agira par la suite d'une tournée de neuf dates.