Le groupe est formé en 1999 comme trio, avec Anthony Roman (chant/basse), Tommy Williams (guitare/chant) et Greg Collins (batterie).Les trois amis ont grandi à Long Island, où ils s'impliqueront dans la scène punk hardcore[1] au sein de groupes comme Garden Variety (Roman) et Sleepasaurus[2]. Ils forment initialement leur groupe inspiré par le punk et post-punk de la fin des années 1970 et du début des années 1980, enregistrant un EP trois pistes publié au label Gern Blandsten[3].
Leur premier album, The New Song and Dance, est publié en 2000, et produit par Tim O'Heir. Il agit d'un album à petit budget au son rétro, dans la veine de The Clash en particulier[2]. À cette période, Anthony Roman ouvre une boutique à Brooklyn qui se consacre à la scène émergente, et le premier album est suivi par l'EP Dance to the Underground, aussi produit par O'Heir. Un remixdance du morceau-titre devient un hit et est utilisé dans une publicité pour Mitsubishi[1].
Gotham! et succès
Le groupe devient un quintette, avec Roman, Collins, David Milone (chant/guitare) (qui remplace le guitariste/chanteur Tommy Williams en 2005), Gerard Garone (claviers), et P.J. O'Connor (percussions)[1] et s'associe avec DFA Productions de James Murphy et Tim Goldsworthy pour produire leur deuxième album. Cette collaboration signale une nouvelle direction pour le groupe qui mêle guitare punk de leur premier album avec influences électronique pour créer un style dance-punk similaire aux autres groupes et artistes affiliés à DFA comme The Rapture[3]. Gotham! est publié en 2002 chez Gern Blandsten[4] menant le groupe au succès grand public[1],[3].
Le groupe enregistre son troisième album, Stealing of a Nation, dans un studio souterrain à Brooklyn avec Max Heyes, et est publié en septembre 2004[3], mais mal accueilli par la presse spécialisée[5]. Un quatrième album intitulé Enemies Like This est suivi en 2006[5]. Gerard Garone quitte le groupe en . Il revient avec le groupe pour le CBGB Festival de New York en 2012. Roman et Milone jouera sous Orange Cassettes avec d'anciens membres d'Elefant[6].
Style musical
Le style musical du groupe est un mélange entre post-punk, punk, funk, que l'on rattache au courant dance-punk. Le groupe publie son premier album, The New Song and Dance, en 2000, présentant le son du groupe, fortement influencé par des groupes tels que Gang of Four. En 2002, le groupe publie Gotham!, qui magnifie le son du premier album. Une publicité de Coca-Cola utilisera même un remix par The Faint du single Dance to the Underground. Cependant, avec son troisième album, Stealing of a Nation, le groupe prend une orientation beaucoup plus électronique, parfois à la limite de la dance. Le groupe reviendra ensuite à un son plus rock avec son album de 2006, Enemies Like This.