Der Ursprung kann auf den Grafen Giacomo Carrara zurückgeführt werden, einem Mäzen und Sammler, der der Stadt Bergamo am Ende des 18. Jahrhunderts eine großzügige Erbschaft hinterließ. Einer der ersten Lehrer und Leiter war der BildhauerPaolo Triscornia. Nach dem Tod des Grafen im Jahre 1796 wurde seine Hinterlassenschaft bis 1958 durch einen Beauftragten verwaltet, danach übernahm die Stadt Bergamo die direkte Aufsicht. 1810 wurde ein neues Gebäude nach einem Entwurf des Architekten Simone Elia, einem Schüler von Leopoldo Pollack, in neoklassischen Formen errichtet.
Neben den Bildern befinden sich Zeichnungen und Drucke, Bronzefiguren, Skulpturen und Porzellan, Möbel und eine Sammlung von Ehrenzeichen im Besitz des Museums.
1793, dem Zeitpunkt der ersten Öffnung seiner Privatsammlung für die Öffentlichkeit, wünschte der Graf Giacomo Carrara, dass auch Zeichen- und Malkurse an dieser Stelle stattfinden sollten. Die Schule, die bis 1912 im selben Gebäude wie die Kunstgalerie untergebracht war, ist nun in einem eigenen nahe gelegenen Gebäude untergebracht. Seit 1988 wurde sie zu einer staatlich anerkannten Accademia di Belle Arti (Akademie der schönen Künste) ausgebaut.
1991 wurde die Galleria d’Arte Moderna e Contemporanea (GAMEC), eine Galerie für moderne und zeitgenössische Kunst, dem Museum hinzugefügt. Sie ist in einem Gebäude gegenüber dem neoklassischen Hauptsitz untergebracht, einem ehemaligen, jetzt restaurierten Frauenkloster. Zurzeit hat das Gebäude zehn Ausstellungsräume in drei Stockwerken. Mit dem Zukauf der Raccolta Gianfranco e Luigia Spajani im Juni 1999 enthält die ständige Sammlung zeitgenössische Arbeiten von italienischen und ausländischen Künstlern des 20. Jahrhunderts, wie zum Beispiel: Boccioni, Balla, Morandi, Campigli, Casorati, Savinio, De Chirico, Kandinsky, Sutherland und Manzù.
