Nachdem die Franzosen im Jahr 1673 Pondicherry vom Sultan von Bijapur erworben hatten, holten sie 1689 jesuitische Missionare in die Stadt. Nach dem St.-Pauls-Kolleg in Goa waren die Jesuiten in Indien als „St.-Pauls-Väter“ bekannt, weshalb die Immaculate Conception Cathedral noch heute von der tamilischen Bevölkerung oft als Samba Kovil (Verballhornung von Saint Paul) bezeichnet wird. 1692 errichteten die Jesuiten eine erste Kirche, die aber nur ein Jahr später im Zuge der niederländisch-französischen Kolonialkriege zerstört wurde. Eine zweite Kirche entstand 1699, blieb aber auch nicht lange bestehen. Zwischen 1728 und 1736 wurde eine dritte Kirche an der Stelle der heutigen Kathedrale errichtet. Im Dritten Karnatischen Krieg nahmen britische Truppen im Jahr 1761 Pondicherry ein und zerstörten die Kirche. Nach Ende des Krieges begann 1770 der Bau der heutigen Kathedrale an der Stelle des zerstörten Vorgängerbaus. Am 20. Juni 1791 konnte die Immaculate Conception Cathedral geweiht werden.