Takauji perusti Tōji-inin Kinugasavuoren juurelle vuonna 1341. Avukseen hän kutsui zenmunkki Musō Sosekin. Temppelin nimi oli alun perin Tōji-ji, mutta Takaujin kuoltua vuonna 1358 sen nimeksi vaihdettiin Tōji-in Takaujin postuumin buddhalaisen nimen (Tōji-inden) mukaan. Myöhemmin Tōji-inistä tuli Ashikagan suvun hautatemppeli, jonne on haudattu muutkin Ashikaga-shōgunit.[1]
Temppelin nykyinen päähalli on Fukushima Masanorin rakennuttama vuonna 1616. Se on siirretty paikalle Myōshin-jin sivutemppeliltä. Temppelin Reikō-den-hallissa säilytetään Ashikaga-shōguneita esittäviä puuveistoksia. Vuonna 1863 sonnō jōi -liikkeen samurait murtautuivat halliin ja irrottivat kolmelta veistokselta päät.[1]