Entre 1141 et 1146 Pietro Gattilesso fit ériger sur l'île de San Clemente un hôpital pour pèlerins revenant de Terre Sainte, ainsi qu'une église adjacente vouée au culte du pape et martyr Saint Clément.
L'hospice fut dirigé dès 1165 par les chanoines réguliers de Saint-Augustin, réduits au fil du temps au seul prieur. En conséquence de quoi, en 1432 le pape Eugène IV rattacha ce couvent aux chanoines réguliers de Latran de Sante-Marie-de-la-Charité, qui en permirent une certaine refloraison.
À la suite de la terrible épidémie de peste de 1630, au cours de laquelle elle fut transformée en hôpital, l'église s'est fortement détériorée.
En 1643, l'archevêque Lazzarini fit construire dans l'église une copie de la Sainte Maison de Lorette et la cédait aux ermites Camaldolesi avec le consentement du Sénat en 1645.
La communauté fut supprimée en exécution du décret du . A la place du couvent démoli en 1858 fut construit l'hôpital psychiatrique pour femmes (manicomio) ouvert en 1873 et fermé en 1992. L’île est actuellement occupée par un hôtel cinq étoiles, le San Clemente Palace Kempinski Venice.
