Der Überlieferung nach war Libertinus im 3.–4. Jahrhundert n. Chr. der erste Bischof von Agrigent. Einer Theorie des Archäologen Ernesto De Miro zufolge ist die Basilikula in den Archäologischen Stätten von Agrigent eine Gedenkstätte für die Heiligen Libertinus und Pellegrinus mit den Gräbern dieser beiden Märtyrer.
Nach der arabischen Vorherrschaft wurde das ursprüngliche byzantinische Bistum im 12. Jahrhundert als lateinisches Bistum wiedererrichtet. Erster Bischof war der heilige Gerlandus von Besançon (ca. 1030–1100), der Patron der Diözese, dem auch die Kathedrale von Agrigent geweiht ist. Zu dieser Zeit erstreckte sich das Territorium des Bistums bis an die Nordküste Siziliens (Termini Imerese).
Im Jahre 1844 wurden bei einer Neuordnung der Bistumsgrenzen Teile des Territoriums des Bistums Agrigent den Erzbistümern Palermo und Monreale zugeordnet, aus einem weiteren Teil wurde das Bistum Caltanissetta errichtet.