V roce 1775 Karel Filip, hrabě z Artois a budoucí král Karel X., bratr Ludvíka XVI. koupil pozemek v Boulogneském lesíku s pavilonem z roku 1720, kterému se říkalo "Bagatelle", což v 18. století označovalo místo pro zábavu. Stavba byla zahájena v roce 1777 a dohlížel na ni architekt François-Joseph Bélanger (1745-1818). Práce byly dokončeny v roce 1786. Kolem zámku vznikl park v anglo-čínském stylu. Později získal zámek Napoleon Bonaparte jako rezidenci pro svého syna Napoleona II. Během Restaurace Bourbonů zámek získal vévoda de Berry. V roce 1835 nebo 1837 panství koupil za 300 000 frankůanglický šlechtic Francis Seymour-Conway, 3. markýz z Hertfordu (1777-1842). Za jeho působení byla postavena oranžérie, vstupní brána a stáje. Založil rovněž uměleckou sbírku obrazů. Jeho syn Richard Seymour Conway (1800-1870) rozšiřoval sbírku o další umělecké předměty z 18. století. Po své smrti odkázal svůj majetek nemanželskému synovi Richardovi Wallacemu. Wallace zemřel v roce 1890 a rozsáhlý majetek zdědila Amélie Charlotte Castelnau (1819-1897), se kterou se oženil v roce 1871. Ta posléze odkázala sbírku nazvanou Wallace Collectionbritskému státu. Zámek Bagatelle zdědil její sekretář a důvěrník sir John Murray Scott (1847-1912). Sir Scott rozprodal bohaté vybavení zámku a ten zůstal prázdný.
