Selestínus réðst gegn novatíanistum í Róm og fangelsaði biskup þeirra og bannaði helgihald hjá þeim. Á þessum tímum voru margir sértrúarsöfnuðir að brjótast fram innan kirkjunnar og Selestíus barði þá niður með harðri hendi. Fyrir vikið var hann gerður að dýrlingi innan kirkjunnar.
Selestínus var mjög góður vinur Ágústusarkirkjuföðurs eins og sést á miklum bréfaskriftum þeirra á milli og líka á því að Selestínus bannaði biskupum í Gallíu að skrifa illa um Ágústínus.