Die Burg wurde um 1300 als „Obere Burg“ an der höchsten Stelle der Stadt als Teil der Stadtbefestigung erbaut.[1]
Von der ehemaligen Burg ist noch der Bergfried, der sogenannte Schurkenturm, mit einigen Mauerresten und Burggarten erhalten. Der „Schurkenturm“ diente im 18. und 19. Jahrhundert als Gefängnis[2] und wird seit 1973 als Vereinsheim des Schwäbischen Albvereins genutzt.