Die Burganlage soll aus einem römischen Wachtturm entstanden sein. 1150 wird in einer Urkunde des Stiftes Ranshofen ein Ulricus Frenchinger genannt. 1378 ist der Ort als Holczester beurkundet. Auf der Spitze eines Hügels über dem Holzöstersee hatten die Frankinger, die späteren Grafen Franking, ihre Burg. Die Burg war bereits im 15. Jahrhundert verfallen. Durch Kriegsleute des Herzogs Heinrich von Niederbayern wurde die Burg abgetragen. Der Burgherr Georg von Franking soll dabei in Gefangenschaft geraten sein.
Burgstall Holzöster heute
Von der Anlage ist ein Burgplateau zu sehen. Zwei Umfassungsgräben sind zu erkennen, Mauerreste sind nicht mehr zu finden. Eine Planskizze Hugo von Preens gibt den genauen archäologischen Befund wieder.
Die Anlage steht nicht unter Denkmalschutz. Sie ist heute als Station 6 in ein „Bauerngolf“-Spiel eingebunden.