Der erste Baron Latymer war William Latimer, der erstmals 1290 am englischen Parlament teilnahm. Da sich erst zum Parlament im Jahr 1299 belegen lässt, dass er auch einen Writ of Summons erhielt, gilt erst 1299 als Zeitpunkt der Verleihung. Sein Urenkel, der 4. Baron, der keine Söhne hatte, hinterließ den Titel 1381 seiner Tochter Elizabeth als 5. Baroness. Diese heiratete in erster Ehe John Neville, 3. Baron Neville de Raby und in zweiter Ehe Robert Willoughby, 4. Baron Willoughby de Eresby. Ihr folgte 1395 ihr Sohn aus erster Ehe, John Nevill, als 6. Baron. Dieser hinterließ bei seinem kinderlosen Tod 1430 seine Ländereien seinem Halbbruder aus einer vorherigen Ehe seines Vaters Ralph Neville, 1. Earl of Westmorland. Der formelle Anspruch auf die Baronie fiel jedoch aus heutiger Sicht über den Sohn der bereits verstorbenen Schwester des 6. Barons, Elizabeth Neville, die ihren Stiefbruder aus der zweiten Ehe ihrer Mutter Sir Thomas Willoughby geheiratet hatte, an deren Sohn John Willoughby als de iure 7. Baron. Dieser und dessen Nachkommen haben den Titel jedoch nie wirksam beansprucht und wurden nie als Barone Latymer zu Parlamenten geladen. Sein Urenkel, der de iure 9. Baron Latymer wurde 1492 durch Writ of Summons zum Baron Willoughby de Broke erhoben. Beim Tod von dessen Sohn, dem 2. Baron Willoughby de Broke, de iure 10. Baron Latymer, 1492 fielen beide Titel in Abeyance. Diese Abeyance dauert hinsichtlich dieser Baronie Latymer bis heute an.
Zweite Verleihung
Zum Parlament von 1299 wurde neben dem 1. Baron erster Verleihung auch dessen Neffe Thomas Latimer, der Sohn von dessen jüngerem Bruder John Latimer, durch Writ of Summons einberufen und somit aus heutiger Sicht eine zweite Baronie Latymer begründet. Thomas Latimer wurde jedoch nur bis 1308 zu Parlamenten einberufen und keiner seiner Nachfahren führte den Titel oder nahm an Parlamenten teil. Seine erbberechtigte Nachfahrenlinie lässt sich bis zu Sir Griffin Markham nachverfolgen, der 1603 wegen Hochverrats geächtet wurde, womit der Titel spätestens verwirkt war und erloschen ist.
Dritte Verleihung
Eine dritte Baronie Latymer entstand, als am 25. Februar 1432 George Nevill, ein jüngerer Sohn des Ralph Neville, 1. Earl of Westmorland, mit einem Writ of Summons als Baron Latymer in das House of Lords berufen wurde. Beim Tod von dessen Ur-urenkel, dem 4. Baron, 1577, der keine Söhne hinterließ, fiel der Titel in Abeyance zwischen dessen vier Töchtern. Da diese Töchter ihrerseits zahlreiche Nachkommen hatten, blieb die Baronie über Jahrhunderte ruhend, bis sie 1913, auf Antrag von Francis Money-Coutts-Nevill, einem Nachkommen der ältesten Tochter der dritten Tochter des letzten Titelträgers, für ihn als 5. Baron Latymer restituiert wurde. Heute hat dessen Ur-urenkel Crispin Money-Coutts als 9. Baron den Titel inne.
