Schimberg est située dans le sud-ouest de l'arrondissement, dans l'Obereichsfeld, au cœur du Parc naturel d'Eichsfeld-Hainich-Werratal, à l'ouest de la chaîne du Westerwald (qui culmine à 504 d'altitude). La ville est le siège de la Communauté d'administration d'Ershausen-Geismar et se trouve à 17,5 km au sud de Heilbad Heiligenstadt, le chef-lieu de l'arrondissement.
La commune est composée des six villages d'Ershausen (1 267 habitants), Lehna, Martinsfeld (626 habitants), Misserode, Rüstungen et Wilbich (377 habitants).
La commune de Schimberg est née le de l'union des anciennes communes d'Ershausen (avec les villages de Misserode et Lehna), de Martinfeld, de Rüstungen et de Wilbich.
Le village qui est mentionné le plus tôt est celui de Martinfeld en 1071 dans un document émanant de la cour d'Henri IV du Saint-Empire faisant don du village au monastère de Hersfeld. En 1267 apparaît celui d'Ershausen, puis Rüstungen et Wilbich en 1318, Misserode en 1479 et enfin Lehna en 1522.
À l'époque nazie, 93 des 200 pensionnaires handicapés mentaux de la fondation St Johannes fondée en 1884 furent assassinés dans le cadre du programme Aktion T4.