Die Burg wurde vermutlich von den Herren von Schalldorf, die 1180 mit dem Namen „Schalchdorf“ erstmals erwähnt wurden, erbaut. Die Herren von Schalldorf, Ministeriale der Grafen von Wasserburg, saßen bis ins 15. Jahrhundert auf der Burg, die spätestens Anfang des 19. Jahrhunderts abgebrochen wurde. Heute ist die Stelle als Bodendenkmal D-1-8038-0037 „Niederungsburgstall des Mittelalters und der frühen Neuzeit ("Sitz Schalldorf")“ vom Bayerischen Landesamt für Denkmalpflege erfasst.[2]
Der Name Schalldorf geht auf das Wort „Schalke = Knecht“ zurück.
