Gegründet wurden die Evil Cavies von Philipp Waas (Trompete),
Matze Stede (Trompete), Gregor Brundke
(Schlagzeug), Jerome Johnson (damals noch Bass) und Tobias Wagner (Orgel), da die Bläser Interesse hatten ihre Instrumente anderweitig einzubringen als in einem Musikzug.
Man einigte sich auf die Vorbilder Reel Big Fish und Mad Caddies, mit denen sich alle Gründungsmitglieder identifizieren konnten.
Am 27. Juli 2006 wurde das erste Album veröffentlicht, nachdem eine erste Demo-CD auf Konzerten einen anständigen Absatz fand. Das Album trägt den Titel There must be a need for me, was nach Worten der Band ungefähr mit „zu irgendetwas müssen wir ja gut sein, also machen wir Musik“ zu übersetzen wäre. Es wurde von der Band komplett selbst finanziert und organisiert und enthält 9 eigene Songs.
Die bis dahin größte Auszeichnung für ihre Live-Qualitäten erhielt die Band, als sie nach dem Sieg bei einem Vorentscheid im September 2006 das Finale der hessischen Ausgabe des bundesweiten Newcomer-Contests „Local Heroes“ für sich entscheiden konnten.
Am 18. April 2008 erschien das zweite Album mit dem Titel My Favourite Jetlag. Im Sommer des gleichen Jahres spielten die Evil Cavies neben Reggae-Größen wie Gentleman und Shaggy auf dem Afrika-Karibik-Festival in Aschaffenburg, auf dem Soundgarden Festival in Friedberg und auf dem Nonstock-Festival im Fischbachtal. Dieser Auftritt wurde von RTL-Hessen dokumentiert.
