Bygningen nævnes i skriftlige kilder fra 1682, hvor den var ejet af byfogeden Mads Christensen.[1] Den var sandsynligvis kun lidt ældre en dette. Fra 1829-1831 var den ejet af etatsråd Jacob Mandix, og efter hans død i 1831 overgik bygningen til hans datter, Lucie Mandix, der var gift med Bernhard Severin Ingemann. Samtidig var hun en af Danmarks første kvindelige malere.[2][3]
Hector Frederik Janson Estrup, der var blevet udpeget rektor for Sorø Akademi i 1831, overtog bygningen i 1833.[3] På dette tidspunkt fik den navnet Scavenius' Stiftelse.[1] Han omdannede den til to lejligheder, der kunne bruges af enker til lærere fra skolen. Estrup giftede sig med et medlem af Scaveniusfamilien og efter hendes døde giftede han sig med hendes søster.[3]
Scavenius' Stiftelse er en i to stokværk, og opført i bindingsværk. Tavlerne er muret med røde mursten, og alle vinduer er hvidmalede. Taget er valmtag. I dag er træværket i bindingsværket malet sort. I 1910 udførte Frederik Carl Christian Hansen en restaurering af bygningen. Der er fundet reste af rød maling, som indikerer at den oprindeligt har været rødmalet.[1]
I vestgavlen er en ladebygning i én etage, og ligeledes opført i bindingsværk. Flere steder i murværket er der korsformede ventilationsholler. På nordsiden er en to-etagers tilbygning fra 1857, ligeledes i bindingsværk. Det er her indgangen findes.
