Establecido en el año 807,[4] este templo tiene una fuerte asociación con Kukai como el templo ancestral del clan Saeki, del cual Kukai era miembro, y fue llamado en primer lugar Yosaka-dera.[4] Remodeló el Mandara-ji siguiendo el ejemplo de un templo en China a su regreso de ese país, y se dice que también plantó el pino que todavía crece en el recinto.[5] La construcción fue finalizada tras 3 años y se consagró a Dainichi Nyorai en el salón principal. Kukai trajo tres mandalas de la dinastía Tang, por lo cual el templo acabó denominándose Mandara-ji.[4]
Una de las estatuas del templo consagra a Kannon-do. Datada del período Heian tardío, está hecha en ciprés y mide 158 cm. Ha sido designada como Bien cultural tangible de la prefectura de Kagawa. Otra estatua destacada representa a Kukai, tallada en el tronco de un pino.[4]
