Рэй родился в Галифаксе, но вырос на юге Лондона. Начал свою карьеру футболиста, выступая на позиции полузащитника в клубе «Чарльтон Атлетик» в 1960 году, став профессионалом под руководством Фрэнка Хила в 1964 году. Сыграл свою первую игру в качестве профессионала в 1966 году, дебютировав во втором дивизионе, но, не сумев закрепиться в команде вскоре ушел в клуб четвёртого дивизиона «Эксетер Сити», где он отыграл 55 игр менее чем за два года. В 1967 году подписал контракт с «Линкольн Сити», также играющий в четвёртом дивизионе под руководством Рона Грэя. «Бесы» не смогли заработать повышение (упустив пять очков) в сезоне 1968/69 и заняли восьмое место в сезоне 1969/70, а затем под руководством Берта Локсли команда опустилась в зону вылета в сезоне 1970/71. Хэрфорд сыграл около 200 игр за четыре года на стадионе Синсил Бэнк[1].
