Huset blev opført omkring 1420. Det har fem etager; de to nederste har sandstensmure mens de øvre er bindingsværk. Hele bygningen har valmet tag. I 1501 blev huset købt af Bernhard Walther, der var en købmand og fremtrædende astronom. Walter ombyggede huset og tilføjede små vinduer i taget, så det kunne fungere som observatorium. Walter døde i 1504, hvorefter Dürer købte det i 1509.
Siden 1817 har Albrecht-Dürer-Haus været et museum dedikeret til Dürers liv og arbejde. Det blev restaureret i 1909, hvor kvisten blev erstattet. Under de allieredes bombninger i oktober 1944 under anden verdenskrig blev det skadet. Det blev genopført i 1949, men åbnede først som museum i 1971 ved Dürers 500-års fødselsdag.[1]
Museet er indrettet med møbler fra Dürers periode og hans værksted er genskabt, så besøgende kan se demonstrationer af printteknikker, samt skiftende udstillinger af Dürers malerier og tegninger.[2]
