Après la séparation de leur ancien groupe, At the Drive-In, le batteur Tony Hajjar et le bassiste Paul Hinojos s'assemblent pour former un nouveau groupe[4]. Hinojos entre en contact avec l'ancien guitariste d'At the Drive-In, Jim Ward, pour le rôle de chanteur. Après une brève période avec Erick Sanger, les trois recrutent Matt Miller, originaire d'El Paso, futur bassiste du groupe Belknap pour devenir basisste permanent de Sparta[5] avec Hinojos qui se met à la guitare. Le groupe signe avec le label Dreamworks en 2001. Il publie un premier EP, Austere au début de 2002, qui est accueilli d'une manière mitigée par la presse[6]
En , Sparta publie son premier album, Wiretap Scars. L'album, bien qu'il ne soit pas bien reçu par le grand public post-hardcore, leur amène une certaine notoriété et un respect qui ne perdurait pas du temps d'At the Drive-In. L'album comprend un son plus épuré et accessible comparé aux sons distordus d'ATDI[7]. Fidèles à leurs racines, le morceau d'ouverture Cut Your Ribbon est considéré comme du « rock assoiffé de pouvoir »[7] et d'autres morceaux comme Cataract, Glasshouse Tarot et Myesont remarqués pour leur émotion et « mélodie exubérante d'absurdité[8]. »
Porcelain
Le , le cousin de Ward, Jeremy Michael Ward, meurt d'une overdose d'héroïne. Le groupe commence à écrire de nouveaux morceaux, et enregistre, le un album live à La Zona Rosa. L'album comprend sept morceaux dont deux inédits : Lines in Sand et La Cerca.
En juillet 2004, le groupe publie un deuxième album, Porcelain. Malgré les rumeurs, aucun morceau n'est affecté par la mort de Jeremy Ward. Des morceaux comme Death in the Family et Travel by Bloodline, qui concernent d'autres deuils personnels, comme celui du grand-père de Jim Ward et d'un ami proche disparu. Sur le titre de l'album, Ward révèle : « J'aime bien le mot Porcelain et ce qu'il implique : quelque chose de très beau et durable, mais à la fois fragile, et facilement brisable. J'aime cette double signification[9]. »
En 2005, après une tournée à mi-chemin, Ward annonce avoir besoin d'un changement de formation. À cette période, Hinojos part pour se joindre à The Mars Volta comme guitariste secondaire et ingénieur du son Hinojos est remplacé par Keeley Davis. Finalement, Ward rend visite à Hajjar, à Los Angeles. En janvier 2006, le groupe annonce sa signature au label Hollywood Records, et son intention de sortir un court-métrage intitulé Eme Nakia, inspiré des expériences de Hajja, pendant son enfance à Beyrouth, au Liban.
Threes
Le , Sparta annonce sur son site web l'arrivée d'un nouvel album, Threes. Deux jours avant sa sortie, l'album est publié en streaming sur MySpace. L'album est publié le .
Le premier concert avec Davis se passe au Viper Room de Los Angeles, en juillet 2006. Ils jouent trois nouveaux morceaux issus de l'album : Crawl, Weather the Storm, et le single Taking Back Control. Par la suite, Sparta joue au festival Lollapalooza de Chicago. Le groupe tourne aux États-Unis, au Canada, en Australie et en Europe en soutien à l'album avec des groupes comme Lola Ray, Aloha, As Tall as Lions, Sound Team, Moneen, MeWithoutYou, Lovedrug, Straylight Run, Deftones et My Chemical Romance. Le , le groupe joue un concert gratuit avec Lydia Vance à Las Vegas pour la XPOZ Coalition, une organisation anti-tabac. En tournée avec Straylight Run et Lovedrug, Sparta permet à Lovedrug de continuer de tourner en les laissant utiliser leurs instruments et équipement, après que Lovedrug se soient fait voler les leurs pendant un concert à Détroit, dans le Michigan[10].
Pause
En juin 2008, Ward annonce une pause indéfinie concernant Sparta pour se consacrer à son projet, Sleepercar[11]. En janvier 2009, Ward répond lors d'un entretien concernant l'éventuel retour du groupe, que rien est prévu[12].
Retour
Après trois ans de pause, Sparta joue son premier concert depuis 2008, en à El Paso[13]. Sparta sort un nouveau morceau le intitulé Chemical Feel, leur premier publié en six ans[14]. En , At the Drive-In se réunit.
Le , une nouvelle formation est annoncée en la compagnie de Jim Ward, Matt Miller et Gabriel Gonzalez, et de Cully Symington à la batterie. Un nouveau morceau, Graveyard Luck, est publié le même jour[15]. Un autre, Cat Scream, est publié en [16] accompagné d'une annonce de tournée[17].
