Bygningen ble planlagt av arkitekten Friedrich August Stüler etter en skisse tegnet av kong Friedrich Wilhelm IV i 1865, og realisert 1869–1876 av Strack. Bygningen har form som et romersk tempel med apsis. Den ble skadet under annen verdenskrig, men kunne gjenåpnes allerede i 1949. Museet var ferdig restaurert i 1969. Mellom 1998 og 2001 gjennomgikk det en ny restaurering fra grunnen av, og fikk samtidig to nye saler, hvor verker fra romantikken er utstilt.
