Si l'histoire détaillée de la construction du château n'est pas connue, ses parties les plus anciennes remontent au XIIe siècle. La première mention écrite date de 1299. Par sa situation géographique difficile sur un piton rocheux (reste d'un éboulement de la montagne voisine), le château est probablement le plus récent des trois châteaux forts locaux (avec le château de Grottenstein et le château de Lichtenstein). On trouve une mention des seigneurs de Haldenstein, vassaux des barons de Vaz, dès 1260. En 1299, un conflit éclate entre Johann de Vaz et l'évêque de Coire à propos d'un projet d'agrandissement du château[1].
Au début du XVIe siècle, le château d'Haldenstein devient la propriété de Conradin de Marmels. Il passe ensuite, par mariage, entre les mains du français Jean Jacques de Castion qui, n'appréciant que peu cette vieille bâtisse, fait construire un nouveau château dans le village. L'ancien fort resta cependant habité jusqu'au milieu du XVIIIe siècle, lorsqu'il fur partiellement détruit par un éboulement[2].
