Herzberg se situe au bord de l'Elster Noire, affluent de l'Elbe, près de la limite avec les lands de Saxe et de Saxe-Anhalt. La ville se trouve à environ 90 km au sud de Berlin.
À partir de 1356, Herzberg faisait partie de l'électorat de Saxe. La ville profitera du commerce sur la route de Leipzig à Francfort-sur-l'Oder. La plupart des citoyens passe à la religion protestante en 1522 déjà ; pendant la guerre de Trente Ans, les fortifications découragèrent les belligérants de toute envie d'en faire le siège.