Der Titel heißt streng genommen nur Baron Neville, der Ortszusatz nach dem Familiensitz der Barone, Raby Castle, wird gewöhnlich zur Unterscheidung von anderen Baronien Nevill(e) mitgenannt.
Diesem folgte sein Enkel als 2. Earl. Dessen jüngerer Bruder, Sir John Neville, wurde am 20. November 1459 durch Writ of Summons parallel zu seinem Bruder ins Parlament berufen und dadurch eine zweite erbliche Baronie Neville de Raby begründet. Dieser Baron kämpfte in den Rosenkriegen auf Seiten des Hauses Lancaster und wurde dafür 1461 wegen Hochverrats geächtet und verlor damit seinen Titel. Die Ächtung wurde 1473 aufgehoben und der Titel für seinen Sohn als 2. Baron (zweiter Verleihung) wiederhergestellt. Dieser erbte 1484 von seinem Onkel auch die Titel 3. Earl of Westmorland und 6. Baron Neville de Raby (erster Verleihung). Die drei Titel blieben fortan vereinigt.
Dessen Nachfahre, der 6. Earl, beteiligte sich 1569/70 an einem erfolglosen katholischen Aufstand gegen Königin Elisabeth I. (Rising of the North) und wurde deshalb 1571 wegen Hochverrats geächtet. Damit wurden ihm alle seine Titel aberkannt und seine Ländereien konfisziert.
Ralph Neville, 3. Earl of Westmorland, 6. und 2. Baron Neville de Raby (um 1456–1499) (Titel wiederhergestellt 1473), Nachfolger siehe oben, erste Verleihung
