В 1853 году, шестнадцати лет, занял место титулярного органиста в соборе своего города, сменив на этом посту Шарля Луи Анона. В 1871 году перебрался в Париж, откуда совершил множество гастрольных поездок по Европе и Америке.
В соавторстве с Андре Пирро подготовил десятитомную антологию старинной французской органной музыки «Архивы классиков органа» (фр.Archives des Maîtres de l’Orgue; 1897—1910), единолично составил аналогичное собрание иностранной органной музыки «Классическая школа органа» (фр.L’École classique de l’Orgue; 1898—1903, в 25 выпусках), включавшую сочинения Дитриха Букстехуде, Джироламо Фрескобальди, Яна Свелинка, Георга Муффата и т. д.
Собственные сочинение Гильмана предназначены преимущественно для органа, основная их часть собрана в 18 сборниках под названием «Пьесы в различных стилях» (фр.Pièces dans différents styles; 1865—1912).
Феликс Александр Гильман умер 29 марта 1911 года в Мёдоне.
