Ein Vorgängerbau wurde im 16. Jahrhundert unter Burkhard II. von Kaltental, dem Inhaber der Herrschaft Osterzell, errichtet. Die Herrschaft war von 1699 bis zur Säkularisation 1803 im Besitz des Chorherrenstifts Rottenbuch, das um 1720 das Schloss erbauen ließ und schon bald als Pfarrhof nutzte.
Baubeschreibung
Der dreigeschossige Walmdachbau wurde 1720 unter Verwendung älterer Teile errichtet. Das wohl um 1733 entstandene Deckenfresko im Treppenhaus wird dem Maler Franz Anton Erler zugeschrieben und zeigt den Heiligen Augustinus.[1]
Der Pfarrstadel stammt aus dem 18. Jahrhundert. 1977 erfolgten Umbauten.
