Me First and the Gimme Gimmes est formé en 1995 comme cover band. Parmi les reprises, on trouve entre autres Rocket Man d'Elton John, All My Loving et Strawberry Fields Forever des Beatles, Crazy de Seal ou encore I Believe I Can Fly de R. Kelly. Certains de leurs albums ont un thème musical unique : Are a Drag reprend des chansons célèbres de comédies musicales, Blow in the Wind est consacré au rock des années soixante, et Take a Break ne contient que des reprises de tubes RnB. Par ailleurs, Me First and the Gimme Gimmes ont à leur actif toute une série de vinyls (7") contenant chacun deux chansons (une par face) d'un chanteur particulier, parmi lesquels l'on trouve Billy Joel (Billy, 1996), Barry Manilow (Barry, 1997), Simon and Garfunkel (Garf, 1999) ou encore Bob Dylan (Bob, 2001). Les titres des albums peuvent souvent être entendus à double sens en anglais.
Les membres du groupe ont pour habitude d'adopter à chaque nouvel album une tenue kitsch et fantaisiste différente. Lors de leurs concerts, ils portent le plus souvent tous la même chemise hawaïenne de couleur vive et utilisent des guitares à la forme très spéciale, chaque membre ayant sa couleur attitrée : rouge pour Fat Mike, verte pour Chris et bleue pour Joey. L'album Ruin Jonny's Bar Mitzvah, sorti en 2004, est un live, enregistré au cours d'une bar-mitsvah. C'est sans doute l'album le plus éclectique des Gimmes, où les reprises de Led Zeppelin, de Blondie côtoient celle des The Carpenters ou de chants traditionnels comme O Sole Mio, Auld Lang Syne et Hava Nagila.
Le groupe entre en studio le pour un sixième album, Love their Country, qui est publié le [4]. Cette fois, ils s'attaquent à des classiques de musique country et comprend des reprises de chansons de Dixie Chicks, Garth Brooks, Hank Williams, Sr. et Johnny Cash[5]. Avant la sortie de l'album, Fat Wreck Chords publie un sampler numérique, iFloyd, qui comprend (Ghost) Riders in the Sky du groupe[6]. À la fin de 2006, Fat Wreck Chords publie un autre sampler, Christmas Bonus, qui comprend une reprise inédite de City of New Orleans de Steve Goodman[7]. En , Me First and the Gimme Gimmes est annoncé pour trois dates au PNC Park, mais le groupe est hué à la première nuit, menant à l'annulation des deux autres nuits à venir[8].
Le , Fat Wreck Chords publie un sampler bonus MP3 intituléHanuk-Comp qui comprend The Boxer, publié en 1997 sur le single Garf[9].
L'album Have Another Ball sort en 2008, et comprend des classiques des années 1960 et 1980. Fat Wreck Chords publie leur album Go Down Under le [10]. Le , Fat Wreck Chords publie l'EP cinq titres Sing in Japanese[11]. En mai 2014, sort Are We Not Men? We Are Diva!, un album de reprises de chansons interprétées à l'origine par des « divas ».
Style musical
Les Gimmes sont en quelque sorte un groupe all-star dont les membres jouent déjà dans d'autres groupes connus. Ils sont un cover band, c'est-à-dire que leur discographie n'est composée que de reprises de titres de variété internationale à la sauce punk rock. Ils ne se privent d'ailleurs pas à l'occasion de changer un ou deux mots des paroles originales, par exemple dans San Francisco(Blow in the Wind, le dernier couplet :
« If you come to San Francisco / Summertime will be a love-in there » est remplacé par « If you're going to Stinky's peepshow /
Summertime is nice with wild wild hair » ou encore, Stand By Your Man se termine sur ces paroles apocryphes : « Sometimes its hard to be a Gimme / Giving all your life to just one band / But if you love them / Please don't make fun of them / 'Cause after all we're just a band »
Par ailleurs, les Gimmes s'amusent aussi à intégrer des riffs de guitare ou des mélodies empruntées à d'autres groupes, comme à l'occasion de leur reprise de la chanson juive traditionnelle Hava Nagila où ils ont placé à plusieurs reprises le riff principal de Come Out and Play de The Offspring. L'on retrouve aussi ici ou là des morceaux de Stiff Little Fingers (dans The Longest Time), Bad Religion (dans Favorite Things), The Clash (dans Elenor), etc.
