Palác byl postaven v 18. století pro hraběte de Montmorin-Saint-Herem. Palác byl rozdělen na dvě části. V křídle podél Rue Oudinot bydlelo služebnictvo a bylo zde další zázemí jako kuchyně a druhá část podél Boulevardu des Invalides sloužila jako obydlí pro rodinu hraběte. Za Velké francouzské revoluce byl hrabě zatčen a roku 1792 popraven a palác byl znárodněn. Poté se majitelé střídali až palác koupilo roku 1846 město Paříž pro církevní školu. Ta zde zůstala do roku 1905. V roce 1910 se sem nastěhovalo Ministerstvo kolonií. Od roku 1959 je zde sídlo Ministerstva zámořské Francie.