Der Titel scheint bereits im 11. Jahrhundert existiert zu haben und war von Anfang an eng mit dem Herzogtum Bretagne verbunden: Alain le Roux (um 1040–1089), war ein normannischer Verwandter des bretonischen Herzogs Gottfried I., Teilnehmer der Invasion Wilhelm des Eroberers, der als Belohnung Land in verschiedenen Teilen Englands erhielt, darunter auch ehemaligen Besitz des Edwin, Earl of Mercia in Yorkshire. Auf einem dieser Landstücke ließ er die Burg Richmond bauen.
Sein Bruder Alain le Noir (um 1045–1093) erbte diesen Besitz. Ihm folgte Stephan I., Graf von Penthièvre († 1137), entweder sein Neffe oder ein weiterer Bruder (womit aber – siehe Herzogtum Penthièvre – Alain le Roux und Alain le Noir Enkel des Herzogs Gottfrieds sein müssten). Diese bretonischen Herren besaßen das Land um Richmond, wurden auch oft als 'Earls of Richmond' bezeichnet, obwohl dies dem später üblichen Sinne nicht entsprechen dürfte.
Stephans Sohn Alan (um 1116–1146) war der erste wirkliche Earl of Richmond. Er heiratete Bertha, Tochter und Erbin des bretonischen Herzogs Conan III.; deren Sohn war Conan von Richmond (um 1138–1171), der Margarete von Huntingdon heiratete, die Schwester des schottischen KönigsMalcolm IV. Conan von Richmond wurde als Conan IV. Herzog von Bretagne und übertrug Richmond auf Lebenszeit seiner Tochter Konstanze (um 1162–1201). Dennoch fielen, da er keine Söhne hinterließ, Richmond und die übrigen englischen Besitzungen nach seinem Tod 1171 an den König zurück.
Konstanze schloss drei Ehen, jeder ihrer Ehemänner nahm den Titel eines Earl of Richmond und Herzogs der Bretagne an: Gottfried Plantagenet (1158–1186), Sohn des englischen KönigsHeinrich II., Ranulph de Blondeville, 4. Earl of Chester (um 1172–1232) (diese Ehe wurde wegen zu naher Blutsverwandtschaft annulliert) und Guy de Thouars († 1213), der seine Ehefrau um 12 Jahre überlebte. Der einzige Sohn aus der ersten Ehe war Herzog Arthur I. (1187–1203), der zu Lebzeiten seiner Mutter als Earl of Richmond bezeichnet wurde. Nach seiner Ermordung durch König Johann Ohneland, seinen Onkel, wurde Richmond von der Krone eingezogen.
Von ihrem dritten Ehemann hatte Konstanze zwei Töchter, Alice, die ältere, die der französische KönigPhilipp II. 1213 mit Peter Mauclerc von Dreux verheiratet wurde, wonach Peter bis etwa 1235 als Herzog von Bretagne und Earl of Richmond tituliert wurde. Als er dann seine englischen Lehenspflichten widerrief, verlor er konsequenterweise alle englischen Besitzungen.
1241 übergab König Heinrich III. Richmond an Peter II. von Savoyen (1203–1268), den Onkel seiner Ehefrau Eleonore de Provence, woraufhin er von zeitgenössischen Chronisten als Earl of Richmond bezeichnet wird. Er hinterließ Richmond seiner Nichte, die es der Krone übereignete.
Im gleichen Jahr noch (1268) gab Heinrich III. die Earlswürde an Johann I. von Bretagne (1217–1286), den Sohn Peter Mauclercs, dessen Nachkommen Richmond zumeist hielten, wenn es nicht gerade von der Krone beschlagnahmt worden war. 1342 wurde es offenbar von König Eduard III. eingezogen und seinem Sohn John of Gaunt gegeben, der es 1372 zurückgab.
Die Earlswürde ging nun wieder an die Bretonen zurück: Herzog Johann V. (Johann von Montfort) erhielt sie, starb aber 1399 ohne Erben, der Titel fiel daraufhin (vielleicht aber auch schon früher) an die Krone zurück. Nun wurde die Earlswürde vom Herzogtum Bretagne getrennt.