De 1823 à 1827, il devient recteur de la Trinity Church de Southwark (Philadelphie), puis devient ministre adjoint de l'église de la Trinité de New York et recteur de l'église Saint-Jean à Lancaster jusqu'en 1831.
Malgré cela, ses convictions théologiques continuent à évoluer jusqu'à ressentir le besoin de se rattacher au catholicisme.
En 1852, après l'obtention d'un congé de six mois, il part à Rome avec son épouse. Le , il envoie sa lettre de démission à la Convention de l'Église épiscopalienne en vue de rejoindre l'Église catholique.
Le , sa conversion est reçue par le Pape Pie IX en personne, tandis que sa femme le suivra quelques mois plus tard. Après deux ans passés à Rome, Ives retourne à New York en tant que laïc catholique, son statut d'homme marié lui interdisant à l'époque l'exercice du sacerdoce.
Il passe ses dernières années en tant que professeur de rhétorique au collège Saint-Jean, au séminaire Saint-Joseph de Dunwoodie(en) et aux couvents du Sacré-Cœur et des Sœurs de la Charité. Parallèlement, il se consacre à diverses œuvres de charité et cofonde le Manhattan College, dont il exerce également la charge de premier président du conseil d'administration entre 1863 et 1867.