Der Stadtberg liegt östlich der Stadt am Inn. Er hängt am Brentenjoch (1204 m) mit dem Gamskogel (1449 m) im Nordosten zusammen und bildet so zusammen mit dem südwestlichen Winterkopf (1226 m) einen vorgelagerten, mittelgebirgigen Rücken am Kaisergebirge. Der wird im Westen vom Inn, im Norden vom Kaisertal, im Süden von der Weißache, und im Osten vom Gaisbach umgrenzt. Seine Fortsetzung findet er mit dem Wöhrer Köpfl (782 m, Kufsteiner Wald) an den Inn.
Man erreicht den Stadtberg mit dem Kaiserlift (Wilder-Kaiser-Sessellift) vom Ortsteil Obere Sparchen auf das Brentenjoch (Talstation 505 m).[3][4] Aufstieg zu Fuß erfolgt von Mitterndorf (Madersperger-Denkmal, über Waldkapelle und Duxeralm oder Aschenbrenner) oder Zentrum/Obere Sparchen (über Vorderdux – Hinterdux – Duxeralm) auf den Fahrstraßen/Wegen, wie auch über Lochererkapelle – Wilder Kaiser Steig – Rehersteig – Steinbergalm (Kaindlhütte1293 m). Daneben ist auch ein Aufstieg vom Hintersteiner See (883 m) über die Steinbergalm möglich. Die Routen sind auch mountainbiketauglich.
Über die Stadtberghäuser führt einer der Hauptanstiege auf den Wilden Kaiser, über Bettlersteig – Straßwalchhütte, auf dieser Route liegt auch mit dem Gamskogel (1449 m) ein guter Aussichtsberg. Daneben kann man auch zur Steinbergalm queren, und die Route Widauersteig über den Scheffauer (2111 m) wählen. Wege führen auch – vom Bettlersteig – in das Kaisertal zum Anton-Karg-Haus (829 m, Kaisertour)[5] und – über den Scheffauer – nach Scheffau.