Cap’n Jazz war zwar nur sehr kurzlebig, aber umso einflussreicher, denn die Gruppe half wesentlich mit, Emo von einem Underground-Punk-Subgenre auch in eine anerkannte Spielart des Indie-Rock zu verwandeln, während der größere Teil der Emo-Szene dem Hardcore-Punk treu blieb. Die Diskografie ist zwar karg, aber dies verhalf der Band zu einem gewissen Underground-Status.
Die erste Aufstellung von Cap’n Jazz fand sich in Chicago etwa 1989 und bestand aus den Brüdern Tim and Mike Kinsella, Sam Zurick und Victor Villarreal. Alle waren damals noch Jugendliche und gingen zur Schule. Sie wechselten mehrmals den Namen der Band und nahmen später Davey von Bohlen in die Formation auf, aber es dauerte noch einige Jahre, ehe sie sich musikalisch weiterentwickelt hatten. Schließlich genossen sie Anfang der 1990er Kultstatus in der Szene um Chicago und den Mittleren Westen. Tim Kinsellas kryptische Wortspiele und amateurhaft gehaltene Stimme wurden zum Markenzeichen der Gruppe und verschafften ihr einen eigenwilligen polarisierenden Charakter.
In den 1990ern nahm die Band einige Singles bei winzigen Independentlabels auf und trugen mit Songmaterial zu mehreren Indie- and Emo-Kompilationen bei. 1995 gaben sie ihr erstes und einziges Album Shmap'n Shmazz bei Man With Gun Records heraus. Das Album besaß zudem einen zweiten sehr langen und unverständlichen Titel, der deshalb meist ignoriert wurde. Die Platte wurde schnell zum Liebhaber- und Sammlerstück. Cap’n Jazz trennte sich kurz darauf im Juli 1995 in Little Rock, Arkansas. Die Gruppe sollte eigentlich im dortigen Punk-Treffpunkt Das Yutes A Go-Go spielen.
1998 veröffentlichte Jade Tree Records eine Doppel-CD als Retrospektive mit dem Titel Analphabetapolothology. Enthalten waren alle Studioaufnahmen der Band wie z. B. das gesamte Shmap'n Shmazz-Album, Singles, Split Releases, Kompilationsbeiträge, sowie bislang unveröffentlichte Demos oder Outtakes und ausgesuchte Songs aus ihrem Abschiedskonzert in Chicago. Alle ehemaligen Bandmitglieder engagierten sich bei sehr bekannten Emo-Projekten, so dass der Einfluss von Cap’n Jazz weit über die Auflösung hinausreichte.
Aufgrund der Wiederveröffentlichung von Analphabetapolothology auf Vinyl hat sich die Band für einige Reunion-Konzerte zusammengefunden. Das erste Konzert fand am 22. Januar 2010 statt.
1994: Shmap’n Shmazz aka Burritos, Inspiration Point, Fork Balloon Sports, Cards in the Spokes, Automatic Biographies, Kites, Kung Fu, Trophies, Banana Peels We've Slipped on and Egg Shells We've Tippy Toed Over (Man With Gun Records)
1993: Sometimes If You Stand Further Away From Something, It Does Not Seem As Big. Sometimes You Can Stand So Close To Something You Can Not Tell What You Are Looking At. (Underdog Records)
1993: We Are Scientists (Underdog Records)
Kompilationsbeiträge
1995: Hey Ma Do I Have To Choke On These − We’ve Lost Beauty (File 13)