Muzeum, pod nazwą Nationale Kunst-Gallerij, powstało w 1800 w Hadze, a w 1808 zostało przeniesione do Amsterdamu. Dokonał tego król Ludwik Napoleon, brat Napoleona Bonapartego. Obrazy takie jak np. Wymarsz strzelców Rembrandta, które były własnością miasta, weszły w skład kolekcji muzeum (obraz ten znajduje się w osobnej sali od roku 1906).
W 1885 muzeum przeniesiono do obecnej siedziby, wybudowanej przez holenderskiego architekta Pierre'a Cuypersa, która łączyła elementy architektury gotyckiej i renesansowej. Muzeum zajmuje główne miejsce na Museumplein w pobliżu Muzeum Vincenta van Gogha i Stedelijk Museum.