Bei seiner Geburt galt er als Sohn des Ehemanns seiner Mutter, Roger Palmer, 1. Earl of Castlemaine (1634–1705), und erhielt dessen Familiennamen Palmer und als dessen Heir apparent den HöflichkeitstitelLord Limerick. Nach seiner Geburt trennte sich seine Mutter von ihrem Ehemann. Lord Castlemaine ließ ihn wie sich selbst römisch-katholisch taufen. Sechs Tage später ließ ihn der König nach dem Ritus der Church of England erneut taufen.
1670 wurde er im Alter von acht Jahren mit Mary Wood, dem einzigen Kind von Sir Henry Wood, 1. Baronet (1597–1671), verlobt, mit der Bedingung mit der Trauung bis zum 16. Geburtstag zu warten. Nach dem Tod ihres Vaters wurde Mary von der Duchess of Cleveland entführt. Die Trauung mit Mary Wood fand 1679 statt. Sie starb aber wenige Monate später an den Pocken.
1694 heiratete er in zweiter Ehe Anne Pulteney, die Tochter des Sir William Poultney, Gutsherr von Misterton in Leicestershire, und hatte mit ihr sechs Kinder:
Lady Anne FitzRoy (* 1702), ⚭ Francis Paddy, Esq.;
Lady Barbara FitzRoy, starb unverheiratet.
Er starb am 9. September 1730 und wurde in der Westminster Abbey bestattet. Sein ältester Sohn William erbte seine Adelstitel. Da dieser kinderlos blieb, erloschen alle Titel mit dessen Tod 1774.[1]
