Savo debiutinį albumą grupė Garbage įrašė 1994 metų pabaigoje 1995 metų pradžioje. Pirmasis albumas, pavadintas grupės vardu, išleistas 1995 metų rudenį. Po to, kai buvo išleistas antrasis singlas „Queer“ ir gavus radijo bei MTV paramą, albumas pradėjo kopti į aukščiausių albumų dešimtukus. 1996 vasarą grupė tapo auksine Jungtinėse Valstijose, ir netrukus tapo platinine pasirodžius jų singlams „Only Happy When It Rains“ bei „Stupid Girl“.
Po trumpos pertraukos Garbage pradėjo dirbti su antruoju albumu „Version 2.0“ pasirodžiusiu 1997 metų vasarą. 'Push It„ tapo pirmuoju singlų iš šio albumo. Po ketverių metų pertraukos, grupė išleido ir trečiąjį albumą “Beautiful Garbage". Albumas nepasiekė tokių aukštumų kaip pirmieji du albumai.
Paskutinis jų albumas „Bleed Like Me“ išleistas 2005 metais, pirmasis singlas iš albumo „Why Do You Love Me“ aukščiausias pozicijas užėmė, JK TOP 40 pasirodydamas penktoje vietoje.