Makarna var barnlösa, men en illegitim dotter till Henry Scudamore, Margaret Burr, gifte sig med den berömde konstnären Thomas Gainsborough . Eftersom hertigen inte hade några legitima arvingar, ärvdes hertigtiteln av hans yngre bror, Charles Noel Somerset, 4:e hertig av Beaufort .