Gli Elastica si formarono a metà del 1992 per iniziativa dell'ex chitarrista dei SuedeJustine Frischmann e dell'ex batterista degli Spitfire e dei Suede Justin Welch. Nell'autunno di quell'anno si erano aggiunti al gruppo la bassista Annie Holland e la chitarrista Donna Matthews, già componente dei Darling Buds. Dopo alcune prove, registrazioni ed esibizioni con i nomi di Vaseline e Onk, la band assunse il nome Elastica all'inizio del 1993 a causa di minacce di azioni legali da parte dei Vaselines.
Il primo singolo, pubblicato nel 1993, fu Stutter. Il singolo beneficiò della spinta promozionale del DJ della BBC Radio 1 e capo della Deceptive RecordsSteve Lamacq, che aveva già scoperto la band all'inizio di quell'anno. Nel 1994 gli Elastica pubblicarono due singoli entrati nella Top 20 britannica, Line Up e Connection, e si esibirono in numerosi spettacoli radiofonici. La relazione della Frischmann con Damon Albarn dei Blur fu al centro di molti titoli di tabloid, creando ulteriore interesse intorno alla band.
