Vermutlich wurde die Burg um 1050 vom Ulsenheimer Ortsadel von Wildberg erbaut. 1242 wird ein Manegoldus de Wildberg mit der Übergabe seines Besitzes an das Kloster St. Marx in Würzburg genannt.[1]
Obwohl die Burg in der Ulsenheimer Flur liegt, ist sie mit der Geschichte von Herbolzheim eng verbunden. 1303 werden die Grafen von Henneberg als Besitzer der Burg genannt. 1345 war die Burg im Besitz von Bischof Otto von Würzburg, der sie als Burglehen an Erkinger von Seinsheim gab mit dem Auftrag, sie als Stiftsfestung auszubauen, deren Baukosten durch eine „Weingilt“ aus Herbolzheim erwirtschaftet wurden. 1394 provozierte Wilhelm von Herbolzheim mit Sitz auf Burg Wildberg den Landfriedensbruch zwischen Rothenburg und Seinsheim, was den Würzburger Bischof veranlasste, Soldaten gegen seine Untertanen auch in Herbolzheim zu schicken. Am 7. September 1399 plünderten und verwüsteten die Rothenburger nach einem Sturmangriff die Festung.
1413 besaß Erkinger VI. von Seinsheim die Hälfte des Schlosses Wildberg als Lehen des Würzburger Bischofs. 1674 wird noch einmal ein Herr von Wildberg als Gesandter auf dem fränkischen Kreistag in Windsheim erwähnt. Später wurde das Schloss an die Familie der Truchseß von Wetzhausen und danach an das Julius-Spital in Würzburg verkauft. Nach Berichten von 1822 waren die Gewölbe der Burg eingefallen und die Steine nach Ulsenheim gebracht worden, der Wall eingeebnet, der Burgbrunnen und die Pferdeschwemme zugeschüttet. 1858 begann auf der Burgstelle mit der Errichtung eines Wirtschaftsgebäudes durch Edgar von Öfele die Gründung des heutigen Wildberghofes, auch Schloß Wildberghof genannt, der 1984 von der Familie Endreß erworben wurde und zum Gasthof mit Fremdenzimmern und Ferienhäusern umgebaut wurde.[2][3]
