Das Schloss wurde von den Freiherren von Freyberg um 1748 erbaut. In dem Gebäude befand sich ursprünglich das Patrimonialgericht. Nach der Mediatisierung der Fürstentümer und der Aufhebung der feudalen Gerichtsbarkeit im Jahr 1848 wechselte das Gebäude mehrfach den Besitzer, bevor es 1879 hälftig in den Besitz der Gemeinde und der Kirchenstiftung kam und als Schule und Pfarrhaus diente. Das Storchennest auf dem heute Pfarrhof genannten Gebäude ist von Störchen besiedelt, die seit einigen Jahren im Nest überwintern.
Bernt von Hagen, Angelika Wegener-Hüssen: Landkreis Günzburg (= Bayerisches Landesamt für Denkmalpflege [Hrsg.]: Denkmäler in Bayern. BandVII.91/1). Karl M. Lipp Verlag, München 2004, ISBN 3-87490-589-6, S.422–423.
Werner Freybourg: Schlösser, Burgen und Ruinen in Bayerisch-Mittelschwaben. Band 1: Landkreis Günzburg. Selbstverlag, Krumbach 1989, S. 32–34.