Hertford ingick 1560 hemligt äktenskap med lady Catherine Grey, vilken som dotterdotters dotter till Henrik VII var tronföljdsberättigad närmast efter Elisabet och Maria Stuart. Då drottning Elisabet fick kännedom om äktenskapet, lät hon insätta de unga tu i Towern (1561) och förklara deras äktenskap ogiltigt.
Fullständigt frigiven blev Seymour först efter hustruns död 1568, och han levde sedan i tillbakadragenhet till Jakob I:s tronbestigning, då han erhöll en hovcharge och 1605 sändes som ambassadör till Bryssel.
Hans son Edward Seymour, lord Beauchamp lyckades aldrig bli formligen erkänd som legitim, men bar dock titeln lord Beauchamp, och många såg i honom den rätte tronarvingen efter Elisabet.