O seu avô materno D. Álvaro de Castro, 1.º Conde de Monsanto, morreu na conquista de Arzila em 1471, liderada pelo rei D. Afonso V. O herdeiro da Casa de Monsanto, D. João de Castro, 2.º Conde de Monsanto morreu em 1496 sem deixar descendência. O outro filho varão de D. Álvaro de Castro havia morrido em Tânger sem nunca casar. Pelo que a herança de seu avô transitou para a filha mais velha deste, a mãe de D. Pedro. Este herdou assim o Condado de Monsanto, adoptando o nome de seu avô para que não morresse a linhagem dos Castro.
D. Pedro de Castro casou em 1492, em primeira núpcias, com D. Joana de Menezes, filha de Fernando de Menezes, o Narizes, e neta de D. Duarte de Menezes, Conde de Viana. Não houve descendência deste matrimónio.
D. Pedro de Castro casou em 1497, em segundas núpcias, com D. Inês da Silva e Ayala, filha do Mordomo-Mor D. Diogo da Silva, 1.º Conde de Portalegre. Deste segundo casamento nasceram quatro filhos:
