První dřevěný kostel zde stál od 14. století. Později v letech 1495–1500 františkánští mniši na tomto místě postavili kamenný kostel, který po přestavbě v roce 1582 získal současný půdorys kostela. Na jeho výstavbu bylo použito 33 různých druhů tašek. Dalo se tedy experimentovat a vytvářet tak různé barevné obrázky na střeše kostela.
O kostele sv. Anny existuje historka. Když Napoleon Bonaparte uviděl krásu tohoto kostela, byl jí natolik unesen, že ho chtěl přesunout do Paříže.
