Marié à Marguerite-Marie Petit de Bantel, il est le père du colonel Louis Doulcet et de Pierre Doulcet, maire-adjoint du 7e arrondissement de Paris, ainsi que le beau-père de Paul Ruault du Plessis-Vaidière et de Bruno de La Brosse.
Émile Poulat, Les diocésaines : république française, église catholique : loi de 1905 et associations culturelles, le dossier d'un litige et de sa solution (1903-2003), Documentation française, 2007