Museumsbygningen var oprindeligt en banegård, Gare d'Orsay, bygget for et fransk jernbaneselskab til linjen Paris-Orléans. Den skulle være færdig til verdensudstillingen i 1900. Bygningen var tegnet af de tre arkitekter Lucien Magne, Émile Bénard og Victor Laloux. Det var et trafikknudepunkt på forbindelsen mellem Paris og det sydvestlige Frankrig indtil 1939.
I 1939 var stationens korte perroner blevet utidssvarende for de længere tog, som efterhånden blev brugt på mange andre hovedlinjer. Efter 1939 blev bygningen brugt til forskellige servicetilbud til forstadsborgere, og en del af bygningen blev postcenter under 2. verdenskrig. Stationens hotel lukkede 1. januar 1973.
Ombygning til museum
I 1977 besluttede den franske regering at omdanne stationen til et museum. Arkitektfirmaet ACT forestod ombygningen, som blev udført af Bouygues.[1] Arbejdet gik ud på at skabe 20.000 ekstra kvadratmeter på fire etager. Det nye museum blev åbnet den 1. december 1986 af præsident François Mitterrand.
Museet dækker en afgrænset periode i fransk kunsthistorie og indgår dermed i et kronologisk forløb med to andre store kunstmuseer i Paris: Louvre dækker kunst fra før antikken til 1848, Musée d'Orsay indbefatter kunst fra 1848 til 1914, og Centre Georges Pompidou indeholder kunst fra 1914 til nutiden.