Na mieste dnešného paláca stál na začiatku 15. storočia palác rodiny du Dé. V roku 1619 ho kúpil kráľovský radca Michel-Antoine Scarron, ktorý v roku 1644 poveril architekta Louisa Le Vau, aby ho nahradil lepšou stavbou.
Rodina Aumont vlastnila palác až do roku 1756, kedy ho predala a následne menil majiteľa. V rokoch 1802 - 1824 tu sídlila radnica bývalého 9. obvodu. V rokoch 1824 -1859 palác slúžil ako internát pre Lycée Charlemagne.
V roku 1859 palác získala Pharmacie centrale de France, záhrada bola zrušená a zastavaná skladmi, interiér paláca bol premenený na kancelárie a obchody.
V roku 1938 palác kúpilo mesto Paríž a od roku 1859 tu sídli Správny súd v Paríži (Tribunal administratif de Paris).