Der Titel fiel beim Tod des 2. Barons, 1521, in Abeyance zwischen den drei Töchtern seines einzigen, 1517 gestorbenen Sohnes Edward, Elizabeth († 1562), Anne († 1528), Blanche († nach 1535/vor 1545). Nach heutiger Rechtsauffassung endete die Abeyance, als Anne und Blanche kinderlos starben und der Anspruch auf den Titel Elizabeth als Alleinerbin zufiel. Elizabeth und ihre nächsten sieben Erben, waren sich des Anspruches offenbar nicht bewusst und machten diesen zu Lebzeiten nie geltend. Erst ihr Nachkomme Sir Richard Verney erwirkte am 13. Februar 1696 beim House of Lords die Bestätigung des Titels für ihn als 11. Baron (sowie die rückwirkende Bestätigung seiner Vorfahrenlinie als de iure Barons).
Der de iure 5. Baron wurde 1621 in der Peerage of England auch zum Baron Brooke erhoben. Aufgrund einer besonderen Erbregelung fiel dieser Titel bei seinem Tod an eine andere Linie der Familie.
Die ersten beiden Barone Willoughby de Broke waren aus heutiger Sicht de iure auch Inhaber des 1299 in der Peerage of England geschaffenen Titels Baron Latimer als 9. bzw. 10. Baron, machten diesen Titel aber zu Lebzeiten nicht geltend. Dieser Titel fiel 1521 in Abeyance und ruht seither.
Stammsitz der Barone war Brook Hall in Heywood bei Westbury in Wiltshire, auf den sich auch der Zusatz de Broke bezieht.
