L'edificio che ospita il museo fu costruito nel 1640 da Arent van 'Gravesande come mercato dei tessuti (lakenhal in olandese). Il museo è stato fondato nel 1874 come stedelijk museum (museo municipale).
Collezioni
Come altri musei municipali dei Paesi Bassi, divenne un deposito di collezioni d'arte municipali. Sono esposti manufatti della città di Leida, come una serie di vetrate colorate di Willem Thibaut commissionate per il municipio di Leida, ora montate nelle trombe delle scale.
In mostra permanente sono anche la vecchia sala di ispezione o Staalmeesterskamer, dove veniva ispezionata la stoffa, e la sala riunioni. All'interno di queste sale quattro grandi dipinti raffiguranti l'industria tessile di Isaac van Swanenburg sono appesi sulle pareti nelle stesse posizioni originalmente previste. È presente anche una grande opera di Carel de Moor che mostra gli ispettori tessili, in una massiccia cornice di legno decorata con i loro scudi di famiglia, affiancati da una serie di tre allegorie storiche della città di Leida di Abraham van den Tempel.
Il museo ospita una collezione di pale d'altare e manufatti religiosi risalenti a prima della Riforma protestante che furono formalmente ceduti allo stato nel 1572. Il museo comprende anche una stazione missionaria cattolica risalente a dopo la Riforma. Poiché la religione cattolica era vietata, non esisteva una chiesa ufficiale, e tutti i luoghi di culto cattolici nella giovane Repubblica olandese erano chiamati stazioni missionarie. Si trattava di chiese semi-nascoste, tollerate e tassate dallo Stato.
La collezione comprende anche Un venditore ambulante di occhiali (Allegoria della vista), uno di cinque della serie Allegorie deisensi di Rembrandt.
Il museo è stato chiuso per restauro e ampliamento dal 2016 al 2019. Alla sua riapertura nel giugno 2019, e fino a febbraio 2020, il museo aveva in mostra un dipinto appena identificato di Rembrandt, Lasciate che i bambini vengano a me, raffigurante Gesù in predicazione.