Entre sus aficiones destacaron la caza y el golf. Llegó a ser campeón del mundo de tiro al pichón, campeón de España amateur dobles de golf y uno de los tiradores con escopeta de más prestigio en España.
Casado y divorciado de María Oriol Díaz de Bustamante, hija de Antonio María de Oriol y Urquijo, tuvo nueve hijos, llamados Fernando, Pelayo, Miguel, Rocío, Bosco, María, Cosme, Damián e Inés. Posteriormente estuvo casado en segundas nupcias con María de los Reyes Martínez-Bordiú y Ochoa, hija de Tomás Martínez-Bordiú y Ortega, barón de Illueca (hermano de Cristóbal Martínez-Bordiú).
Transición y últimos años
Durante la Transición española, Primo de Rivera, adscrito a los llamados reformistas azules, tuvo un papel destacado, siendo uno de los impulsores del Grupo Parlamentario Independiente en 1976,[4] y, de forma particular, con la presentación ante el pleno de las Cortes franquistas de la Ley para la reforma política, que tuvo una gran influencia en la opinión pública,[4] y cuya aprobación supuso el llamado «harakiri» de las Cortes.[9]