Монастырь, возвышающийся над посёлком, выстроен на месте среднековового замка Андекс, который был некогда резиденцией древнего и могущественного баварского владетельного рода. Ещё в Раннем Средневековье графы Диссена владели обширными землями на Эче и Инне. В 1204 они получили герцогство Меран, но уже 1248 род их угас в мужском поколении, и их громадное наследство большею частью перешло в руки графов Тироля. Из предпоследнего поколения графов Диссена-Андекса происходили три венценосные сестры — Агнесса Французская, Гертруда Венгерская и Гедвига Польская.
По крайней мере с 1138 года известно о том, что Андекс славился как место богомолья. Приток паломников усилился после 1338 года, когда было объявлено об открытии мощей святых, якобы привезённых сюда из Палестины и Рима диссенским графом Рассо в начале X века. В 1423 г. баварский герцог Эрнст выстроил на месте давно разрушенного замка паломническую церковь, которая в 1455 г. была преобразована в бенедиктинский монастырь, ещё через 3 года получивший все права аббатства. Тогда же сюда была переведена братия из упразднённого имперского аббатстваТегернзее.
