Hrad, který stával na místě dnešního zámku, se poprvé připomíná v roce 1311. Během následujících staletích měnil často majitele, až se na počátku 19. století dostal do držení barona du Pasquier, který jej společně s přilehlým panstvím v roce 1845 prodal nizozemskému králi a lucemburskému velkovévodovi Vilému II. O tři roky později jej nová lucemburská ústava zakotvila jako oficiální sídlo lucemburského velkovévody.
Za vlády krále Viléma III. došlo k neogotické úpravě hradu. Vilém III. ovšem v roce 1890 zemřel, aniž by zanechal mužského dědice. Dle rodové smlouvy Nassavské dynastie zdědil lucemburský trůn spolu s hradem Adolf Nassavský, zatímco trůn nizozemský získala Vilémova dcera Vilemína. V roce 1891 se tak novým obyvatelem hradu stal nejstarší syn velkovévody Adolfa, Vilém. Ten nechal starý hrad od základů strhnout a na jeho místě vybudoval v letech 1907 - 1911 nový zámek podle plánů bavorského architekta Maxe Ostenriedera. Stavbu vedl architekt Pierre Funck, pod jehož dohledem byl zámek 9. září roku 1911 dokončen a získal tak dnešní podobu.
Během II. světové války byl zámek zabaven a změněn na elitní dívčí školu. Po skončení války byl zámek velmi poničen a vládnoucí rodina se tam tak nevrátila. Přesto započala nákladná a dlouhá rekonstrukce. Za své sídlo si jej vybral až velkovévoda Jan v roce 1964, kdy nastoupil na trůn. Od té doby je nepřetržitě sídlem hlavy státu.
Interiéry zámku ukrývají rozsáhlé a cenné sbírky, mj. velkou knihovnu(30 000 svazsků).
Osoby narozené na zámku Berg
Zámek je rodištěm mnoha členů vládnoucí dynastie, včetně několika monarchů: