De band speelt uitsluitend covers van andere nummers en was aanvankelijk bedoeld als hobby-project. Het was nooit de bedoeling een album uit te brengen, maar nadat in de loop van 1995 en 1996 verschillende nummers op compilaties en singles waren uitgebracht verscheen in 1997 het debuutalbumHave a Ball. De band heeft nu tot op heden onder andere zes studioalbums uitgebracht.
Het livealbumRuin Jonny's Bar Mitzvah kent geen thema. Het album werd opgenomen tijdens de bar mitswa van Jonny Wixen. Het verzamelalbum Have Another Ball, dat in 2008 verscheen, bestaat uit eerder uitgegeven nummers en nummers die niet op Have a Ball terecht waren gekomen.
Intro
De intro's van verschillende nummers van de band zijn gebaseerd op punkklassiekers van andere bands. De intro van het nummer "Favourite Things" is van "Generator" van het gelijknamige album Generator van Bad Religion, "Sloop John B." is gebaseerd op "Teenage Lobotomy" en "You've Got a Friend" van het album Blitzkrieg Bop van Ramones, "Elenor" op "London Calling" van The Clash, "San Francisco" op "Stranger Than Fiction" van Bad Religion, "Crazy" op "Six Pack" van Black Flag, "The Longest Time" op "Suspect Device" van Stiff Little Fingers en "On the Road Again" op "Astro Zombies" van The Misfits.
Het tussenstuk in het nummer "Hava Nagila" is gebaseerd op "Come Out and Play" van The Offspring.
De singles van Me First and the Gimme Gimmes bevatten elk een nummer van een bijhorende album en een nummer van de artiest waar de single naar vernoemd is. De singles zijn steeds uitgebracht bij een ander platenlabel, met uitzondering de single "Bob" die alleen verkrijgbaar was in een verzamelbox met de tien voorgaande singles.
De band bracht in 2007 en 2008 een vijftal singles uit in de zogenaamde Square Dance Series welke in een beperkte oplage zijn gedrukt op vierkant vinyl en gekleurd vinyl.