Murray karierę rozpoczął w 1950 roku w zespole Heart of Midlothian. Przez trzy lata w jego barwach rozegrał 1 spotkania i zdobył 1 bramkę. W 1953 roku przeszedł do angielskiego Reading z Division Three, jednak w następnym roku wrócił do Heart of Midlothian. Jego zawodnikiem był do 1961 roku. W tym czasie zdobył z klubem dwa mistrzostwa Szkocji (1958, 1960) oraz Puchar Szkocji (1956). Ponadto w sezonie 1957/1958 wraz z innym zawodnikiem Heart – Willie’m Bauldem, został królem strzelców Scottish Division One (28 bramek).
W późniejszych latach Murray występował jeszcze w drużynach Falkirk, Clyde oraz Raith Rovers. W 1965 roku zakończył karierę.