A korábban Walløk néven jegyzett udvarházról már 1256-ból vannak adatok, amikor Ingegerd af Regenstein, Skjalm Hvide vezér unokája a roskildeiAssisi Szent Klára-kolostornak adományozta a birtokot.[1]1318-ban Waleue néven jegyzik, ami a Wali régi dán személynévből és a -lev helynévképzőből ered.[2]
Az évszázadok során számos alkalommal tulajdonost cserélt a birtok, így többek között I. Keresztély, János, II. Keresztély dán királyok, Kirsten Munk,[3]Ellen Marsvin[4] és Christian Siegfried von Plessen udvari marsall is rendelkezett a terület felett.
1554–1651 között a birtokot egy keleti és egy nyugati részre osztották, amelyeket különböző személyek birtokoltak.
1893-ban az épület leégett. A kastélyban tartózkodók közül senki sem sérült meg, azonban a berendezés egy része, közte mintegy 20 000 könyv odaveszett.[1]1894-1904 között Hans Jørgen Holm tervei alapján, a korábban felhasznált mészkő helyett égetett téglából építették újjá.[1] Mivel a külső falak többsége épen maradt, az épület külseje a korábbi századok során elnyert formában maradt fenn.[5] A kastélybelsőt átrendezték: a korábban létező kápolna, bálterem, zene- és királyi szobák helyett kilenc lakrészt alakítottak ki az ott élő nőknek, illetve egy tornácot és egy kertszobát is berendeztek.[5] A mészkőből készült kapukeretek és a homlokzatot díszítő mészkődomborművek egy része ugyancsak átvészelte a tűzesetet, így azokat újra beépítették a falakba. A munkálatok lezárultával, 1904 nyarán újra megnyitotta kapuit a létesítmény, és kilenc lakó költözhetett be az épületbe.[5]
Napjainkban a Vallø Alapítvány(Vallø Stift) birtokolja az épületet és a hozzá tartozó 4109 hektár területet, melynek nagy részét erdők alkotják. A mezőgazdaság és a fakitermelés[6] mellett a turizmus biztosít további bevételeket. Kiadó szobák, vendégfogadó, vadászati- és horgászati lehetőség, illetve egy közeli kemping várja az érdeklődőket.[7][8][9]
A kastély továbbra is otthont biztosít a dán nemesség köreiből származó hajadonoknak, életkortól függetlenül.[10]
A kastélyparkból gondozott ösvényeken lehet eljutni a közeli vadasparkba, illetve a tölgyerdőbe, ahol érintetlen természet várja a kirándulókat.[12] Az erdős részek állatai között baglyok, seregélyek és csuszkafélék is találhatóak.[11]
Érdekességek
1964-ben a német–francia koprodukcióban készült Zimmer 13krimi egyik külső forgatási helyszíne volt a kastély. A film Edgar Wallace, A 13-as szoba című műve alapján készült, és az épület „Marney-kastély” néven szerepel benne.[13]
1976-ban a kastély és környéke volt az Olsen-banda vígjátéksorozat 8. filmjének központi helyszíne. Az Olsen-banda bosszúja című filmben „Borreholm-kastély” néven említették az épületet.[14]