De blev efterfulgt af De Cantilupe-familien (se Thomas de Cantilupe) og De Grey, der tilsammen opbyggede en magtbase i Wales og Marches. Matilda de Grey, født de Cantilupe, løj i retten overfor kong Edvard 1. af England at borgen var opført af hendes Longchamp-forfædre under Edvard Bekenderen (1042–66). Borgen kan dog ikke have været blevet opført før 1154 og baroniet havde aldrig de Marcher Lord-rettigheder, som Lady Matilda påstod at have.
Borgen bliver primært associeret med en gren af Norman-familien, Baron Grey af Wilton, et prominent dynasti af de normanniske Marcher Lords i i de walisiske marches, der ejede den fra 1308 eller før. Borgen kom ud af familiens eje, da William Grey blev taget til fange af franskmændene ved slutningen af forsvaret af Guînes i 1557, hvor han blev tvunget til at sælge borgen for at skaffe penge til sin løsesum.[2]
A History of the Manor of Wilton and the Parish of Bridstow, Herefordshire, by R.A. Hart, published by the Ross-on-Wye and District Civic Society (1994)