Goldie ble født i Ayrshire i Skottland. Han spilte for Hurlford Thistle og Clyde før han ble hentet til Liverpool av manager John McKenna25. november1897. Goldie gjorde sin debut for Anfield-klubben 2. april1898. På denne tiden spilte også hans bror Archie på laget. Goldie fortsatte å spille fast på Liverpool. Fra 23. desember1899 til 27. april1903 var han involvert i alle de 129 kampene Liverpool spilte i denne perioden. Totalt spilte han 174 kamper og scoret 6 mål for laget. Han vant ligaen i 1901.