Народився в Фельдкірхені, Каринтія. Дядько майбутнього архітектора Франц Янг узяв його у власну майстерню, де він працював ученем і помічником. Разом вони працювали на добудовах и ремонтах в монастирях Гетвайг та Гайлігенкройц. 1734 року дядько помер і Франц Антон почав працювати самостійно. Під час праці в монастирі Гетвайг він зустрівся з архітекором Йоганом Лукасом фон Гілдебрандтом, твори котрого вплинули на його творчу свідомість.
Серед замов архітектора — добудови в монастирі премонстратов в Лоуці, Зноймо. Окрім архітектури митець проектував проповідниці, вівтарі, облаштування для органів. Він виробився у відомого церковного майстра, про котрого знали керівники монастирів, єпископи, князі церкви. За підрахунками він створив різні проекти до більш ніж тридцяти (30) різних храмів в Австрійській імперії.
Але в самій Австрії його праця припала на період, коли численних емігрантів і найманців-італійців почали відсувати на другі ролі, підтримуючи і просуваючи вперед національних австрійських фахівців.
Праця в Словаччині
Ініціатива запрошення Пільграма на працю у Словаччину належала угорцю-примасу Й. Естергазі.
Ф. А. Пільграм працюватиме на землях Словаччини два десятиліття з перервою. Першою значною спорудою Пільграма стали монастир і костел елжбетинок у Пожоні (Братислава). Потім був новий костел для хрестоносців неподалік (зруйнований без відновлення). В місті Нітра Пільграм розробив проект реконструкції і зміцнення собору, що врятувало споруду від обвалу.
Безумовним архітектурним шедервом Пільграма став проект монастиря у Ясові з монастирськими корпусами, двовежевим костелом і садом бароко. На землі Словаччини Пільграм приніс ансамблеву забудову, коли кожна частина комплексу доповнює і прикрашає частини інші. Пільграм помер і монастир в Ясові за його моделями і креслениками вибудував А. Цехмайстер. Фрески в монастирі створили художник Й. Л. Кракер, скульптури — Я. Краус, що сприяло бароковій довершеності монастирського комплекса.
Власна родина
Архітектор мав сина (Антон Пільграм), котрий став астрономом.
Увічнення пам'яті
На честь архітектора ще 1862 року Франца Антона Пільграма названо міст у 5-у районі Відня (Pilgramgasse).