Der erste Teil des herrschaftlichen Wohnhauses, der zu einem Seitenflügel des heutigen Schlosses geworden ist, entstand von 1763 bis 1766 nach Plänen des ArchitektenRodolphe de Crousaz (1710–1776) von Lausanne. Bauherr war der protestantischePastor Gabriel-Jean-Henry Mingard. Das grosse Landhaus lag in der noch nicht überbauten Landschaft einen Kilometer westlich der Altstadt von Lausanne. In den 1770er Jahren liess Mingard das Haus durch den Lausanner Architekten vergrössern. So entstand das repräsentative Bauwerk im klassizistischen Stil, das eine zum Genfersee hin ausgerichtete Fassade von 50 Meter Länge hat.
Die Nachkommen von Gabriel-Jean-Henry Mingard bewohnten das Schloss über mehrere Generationen. Sie konnten im grossen Gebäude gelegentlich bekannte Persönlichkeiten beherbergen, so wie den Genfer Geschäftsmann und Politiker Jacques Necker.
Im 20. Jahrhundert kam das Schloss in den Besitz der Stadt Lausanne, die darin im Jahr 1971 das Museum Collection de l’Art Brut einrichtete. Das Gebiet von Beaulieu liegt heute mitten in der ausgedehnten Stadtsiedlung.
