In navolging van zijn voorganger, kardinaal de Richelieu die bij testament de bouw van de Sint-Ursulakapel in de Sorbonne had gefinancierd en daar begraven werd, wilde kardinaal Mazarin ook begraven worden in de kapel van dit nieuwe college. Zijn indrukwekkende persoonlijke boekencollectie diende ook de basis te vormen van een bibliotheek die zijn plaats moest vinden in het college en minstens tweemaal per week geopend moest zijn voor alle geletterde Fransen.
Jean-Baptiste Colbert die door Lodewijk XIV belast was met de uitvoering van de testamentaire bepaling van Mazarin duidde als architect Louis Le Vau aan, om ter hoogte van de Cour Carrée van het paleis van het Louvre, aan de zuidelijke oever van de Seine dit college te laten verrijzen. De bouwwerken vonden plaats van 1662 tot 1688. De school opende in oktober 1688. De Bibliothèque Mazarine in het college is sinds zijn opening in 1691 de oudste publieke bibliotheek van Frankrijk.
Na de Franse Revolutie in 1789 werd het collège des Quatre-Nations achtereenvolgens het collège de l'Unité, vervolgens een arresthuis, en van de oprichting in 1793 tot de opheffing in 1795 de zetel van het Comité de salut public. In 1796 werd het gebouw de vestigingsplaats van een van de drie écoles centrales van Parijs, met als naam de École centrale des Quatre-Nation. Deze school wordt al gesloten in 1802 en in 1805 op last van keizer Napoleon I wordt het collège des Quatre-Nations de vestiging van het Institut de France. De Franse architect Antoine Vaudoyer bouwt de kapel die in het paleis was geïnstalleerd om tot een zittingszaal voor de academies.
In de 19e eeuw werd aan het tweede binnenplein een nieuwe vleugel toegevoegd die de andere gebouwen verbond. De vleugel werd ingehuldigd in 1846 en kreeg de naam van de architect die tekende voor het ontwerp, Hippolyte Lebas. De sectie herbergt twee vergaderzalen die gebruikt worden voor de gewone werksessies van de academies. Het hele gebouw werd geklasseerd als monument van onroerend erfgoed door de erkenning als monument historique in 1862.