Le château fut construit par Takatora Tōdō, un daimyo local. De 1602 à 1604, il étudia profondément la science de la construction des châteaux afin de construire son propre château. Le premier grand château à régner sur la région fut le château de Kokufu situé au sommet du mont Karako. Mais Takatora, songeant que ce château n'était pas situé au meilleur emplacement pour gouverner la région, le fit démolir et en construisit un nouveau, le château d'Imabari.
Par ordre du gouvernement de Meiji, tous les bâtiments au sein du château furent détruits. En 1980, la municipalité de la ville d'Imabari reconstruisit le tenshu (donjon) dans le château.
