Il épouse le 12 janvier 1817 Jane Hopkinson (décédée le 14 mars 1869), fille de Benjamin Hopkinson, de Bath et de Blagdon Court, Somerset. Ils ont cinq enfants:
Alfred Seymour, de Knoyle House, Wiltshire et de Trent (1824–1888)
Jane Seymour (décédée le 18 septembre 1892), épouse le 21 août 1847 Philip Pleydell-Bouverie, de Brymore (21 avril 1821 - 10 mars 1890), fils de l'hon. Philip Pleydell-Bouverie
Sarah Ellen Seymour (décédée le 14 août 1867), épouse le 14 mai 1857 William Ayshford Sanford, de Nynehead Court, Somerset (2 décembre 1818-28 octobre 1902)
Louisa Caroline Harcourt Seymour (décédée le 31 octobre 1889), épouse le 2 septembre 1862 le major-général Sir Creswicke Henry Rawlinson, 1er baronnet (11 avril 1810 - 5 mars 1895)
Avec Félicité Dailly-Brimont, il a une fille illégitime, Henriette Félicité (1803-1868) qui épouse Sir James Tichborne (10e baronnet), père de Roger Charles Tichborne, l'héritier disparu en mer en 1854, et que l'imposteur Arthur Orton prétendit être («The Tichborne Claimant») dans un célèbre procès. Félicité Dailly-Brimont est réputée être la fille illégitime du prince de Bourbon Conti et de sa maîtresse Marie Claude Gaucher-Dailly.