Pozemek, na kterém byl palác postaven, bylo původně léno, později se však stalo allodiem. Pozemek v roce 1619 koupil architekt Jean Thiriot (1590–1649) od Denise Gaudartové, vdově po rádci parlamentu Françoisovi Gaudartovi. Jean Thiriot zde hodlal postavit vlastní sídlo, ale v roce 1623 prodal část na rohu dnešní Rue Develleyme Robertovi Josselinovi de Marigny. Ten zde nechal postavit palác, který následně vystřídal několik majitelů. Palác v letech 1731–1733 upravil architekt Denis Quirot a v roce 1735 ho získal herold Louis-Pierre d'Hozier (1685–1767).
Jeho syn Charles d'Hozier (1775-1846) byl royalistický spiklenec a velitel šuanů a v paláci v roce 1803 maskoval svou nepovolenou činnost coby výrobnu kočárů. Palác byl dne 29. května 1987 vyhlášen historickou památkou. V letech 1996–2005 měla v budově dílnu sochařka Sandrine Follèreová.
Severní křídlo směrem do zahrady
Architektura
Fasáda na ulici byla původně z cihel a kamene a v 19. století byla zvýšena. Na portálu zhotoveném sochařem Antoinem Fauquièrem v roce 1733 je nade dveřmi kartuš zakončená lví hlavou. Dveře jsou zdobeny postavami Marse a Minervy.
