D'un milieu catholique conservateur, rural et noble, il crée, avec l'objectif de défendre l'encyclique Quanta cura et avec le concours de Joseph de Hemptinne, la revue ultramontaineLe Catholique (1865), journal religieux et politique international, dont il devient le directeur-rédacteur en chef. S'orientant avec le journal sur les sujets des grandes questions de principe, Gerlache traite de la réforme de l'armée, du Parti catholique, des chemins de fer et des questions de la Grande Principauté.
Secrétaire du Denier de Saint-Pierre et des Œuvres papales, il contribue à différentes revues ultramontains et devient un membre actif des "Croisés de Saint-Pierre" (Archiconfrérie de Saint-Pierre) puis de la "Confrérie de Saint-Michel".