1347 wurde die Burg, die von 1347 bis 1396 von den Waldstromern verwaltet wurde, erstmals als „burg in dem wald gelegen, die Brunn genant ist“ erwähnt. Die Burg diente im 13. oder frühen 14. Jahrhundert den Kaisern und Königen während ihrer Aufenthalte in Nürnberg als Jagdschloss. Im Falle eines Thronwechsels ordnete 1374 Kaiser Karl IV an, dass die Burg wie die Nürnberger Burg den dortigen Bürgern als Treuhänder für den künftigen Kaiser oder König unterstellt sein solle.
Im Ersten Markgrafenkrieg wurde die Burg 1449 bis auf Geländespuren in Form breiter und tiefer Gräben zerstört. Ein von Johann David Köhler publizierter anonymer Kupferstich von 1728 gibt Auskunft über den Grundriss der Anlage und zeigt Grundmauern einer etwa quadratischen Burganlage, umgeben von einem Graben und von den Resten einer runden oder ovalen Steinmauer, die das ganze Areal schützte.[1]