Die Band wurde etwa April 1998 gegründet, als alle Gründungsmitglieder aus unterschiedlichen Gründen aus ländlichen Gegenden nach Tokio kamen. Zuerst nannten sie sich Gyorai (魚雷, dt. „Torpedo“), dann änderte man den Namen auf The Back Horn.
Nach ihrer Premiere beim Fuji Rock Festival 1999 veröffentlichten sie das Mini-Album Doko e Iku beim Plattenlabel Kando Records. Sieben Monate danach veröffentlichten sie ihr erstes Album in voller Länge: Yomigaeru Hi. Im Anschluss unterzeichneten sie einen Vertrag beim Label Speedstar Records. Obwohl sie einen Vertrag hatten, bezeichneten sie sich häufig als Indie-Band. Zu dieser Zeit entschied Hirabayashi, die Band zu verlassen.
Nach der Veröffentlichung ihres ersten Albums bei Speedstar Records, Ningen Program, fand die Band mit Okamine Kohshu einen neuen Bassisten. Dieser wollte jedoch nicht sofort Mitglied werden. Er wurde jedoch in Aufnahme des folgenden Albums Shinzō Orchestra miteinbezogen und auf der Tour gab die Band bekannt, dass er von nun an ein vollwertiges Mitglied sei.
Während die Band zunehmend populärer wurde, bekamen sie die Anfrage, die Musik für zwei Filme aufzunehmen, für Kiyoshi KurosawasBright Future und Kazuaki KiriyasCasshern. In der Zwischenzeit nahmen sie das Album Ikiru Sainō auf und veröffentlichten es.
Nach ein paar Touren, einem Auftritt beim Festival Rock in Japan, einigen Singles und ihrer ersten Live-DVD wurde das fünfte Album der Band, Headphone Children, welches oft als Konzeptalbum bezeichnet wird, veröffentlicht. Das Lied Kiseki von diesem Album wurde im Horrorfilm Zoo verwendet. Nach der folgenden Tour wurde das Live-Album Ubugoe Chainsaw veröffentlicht. Zwei Monate später trat die Gruppe zum ersten Mal in Europa auf, bei einem Festival in Barcelona.
Die Band veröffentlichte dann einige Singles und gab einige Shows, einschließlich einer Akustik-Tour nur mit Yamada und Suganami, wobei sie an den Straßen von Japan ohne Eintrittskosten zu erheben spielten. Im April 2006 kam ihr sechstes Album Taiyō no Naka no Seikatsu auf den Markt.
