La première mention écrite du village de Marth date de 1254. Cependant, le château de Rusteberg existait déjà à cette date. Rusteberg, dont la première mention date de 1123 fut détruit en 1160 par le landgrave Ludwig II de Thuringe. Au XIIe siècle, le château passe sous la domination de l'archevêque de Mayence, Adalbert Ier de Sarrebruck, il est alors agrandi et devient la résidence de l'administration de l'Électorat dans l'Eichsfeld et ce, jusqu'en 1540 et à son transfert à Heiligenstadt.
Ruines du château de Rusteberg. Le château, abandonné au XVIe siècle, est démoli à partir du milieu du XVIIIe siècle et sert de carrière de pierre aux villages alentour. Seule subsiste la chapelle, utilisée jusqu'au XIXe siècle.