Comme de nombreux toponymes de la région, le nom Harby contient l'élément scandinave-by « village, ferme ». La première partie provient soit du vieux norrois hjǫrth, soit de son cognat vieil anglaisheorde, qui signifient tous deux « troupeau ». Le nom est attesté dans le Domesday Book sous la forme Herdrebi[2].