O seu pai, Indalecio Fernández López, era natural de Ponferrada e a súa nai, María de la Asunción Penzol-Labandera, de Castropol. Naceu en Sahagún, onde residía a familia polo traballo de xuíz do pai, porén, aos poucos meses de vida de Fermín trasladáronse a Mondoñedo. Á idade de ingresar no instituto foron a vivir a Pontevedra, onde fixo o bacharelato. Despois a familia volveu a trasladarse, desta volta a Madrid, onde Fermín estudou Dereito.
Está soterrado no cemiterio parroquial da vila de Castropol.
Vida persoal
En decembro de 1948 casou con Blanca Jiménez Alonso (Ribadeo 1926-2012) que o axudou de xeito entusiasta no seu labor como bibliófilo nos últimos anos da súa vida. Blanca Jiménez foi presidenta e presidenta de honra, sucesivamente, da Fundación Penzol, integrante do plenario do Consello da Cultura Galega entre 2001 e 2008 e Medalla Castelao en 2002.[2] Non tiveron fillos.