Die Geschichte von Vallø lässt sich bis in das 13. Jahrhundert zurückverfolgen, um 1285 wurde es erstmals urkundlich erwähnt. Von dieser frühen Bebauung finden sich allerdings nur noch Reste. Der Süd- und Westflügel in der heutigen Form und die beiden charakteristischen Türme wurden 1586 von Mette Rosenkrantz errichtet, während die anderen Flügel im 16. und 17. Jahrhundert entstanden.
Mehrere dänische Adelsgeschlechter (u. a. Falk, Krage, Rosenkrantz und Skeel) waren im Laufe der Zeit Eigentümer des Schlosses. 1708 erwarb König Friedrich IV. Vallø für seine Gemahlin zur linken Hand und spätere Königin, Anna Sophie Reventlow. Sein Sohn Christian VI. übertrug den Besitz 1737 an seine Gemahlin Sophie Magdalene von Brandenburg-Kulmbach, die dort ein Frauenstift für unverheiratete oder verwitwete adlige Damen gründete, das bis 1976 bestand. Seitdem werden die Einnahmen aus dem großen Grundbesitz (ca. 4300 Hektar) für karitative Zwecke verwendet. Im Jahre 1976 diente das Schloss unter dem Namen "Borreholm" als Kulisse für den Film Olsen-Banden ser rødt (Die Olsenbande sieht rot).
.jpg)