لعب جو هاربر خلال مسيرته الاحترافية مع 5 أندية في واحد وعشرون موسمًا وسجل خلالها 232 هدف ضمن 438 مباراة. حيث فاز في موسم واحد بالكأس وفي موسم واحد بالدوري.
خاض جو هاربر مسيرته مع نادي غرينوك مورتون في موسم 1964–65 في المرة الأولى واستمر معه طيلة ثلاثة مواسم ثم في موسم 1968–69 ولمدة موسمين، مشاركًا طوالها في 85 مباراة سجل خلالها 65 هدفًا. ثم انتقل إلى نادي هدرسفيلد تاون في موسم 1966–67 ولمدة موسمين، حيث شارك في 28 مباراة سجل خلالها 4 أهداف. لينتقل بعدها إلى نادي أبردين في موسم 1969–70 في المرة الأولى ليلعب معه أربعة مواسم ثم في موسم 1976–77 ليلعب معه خمسة مواسم، مشاركًا طوالها في 213 مباراة سجل خلالها 125 هدف. ثم انتقل إلى نادي إيفرتون في موسم 1972–73 ولمدة موسمين، مشاركًا في 43 مباراة سجل خلالها 12 هدفًا. هذا وانتقل لاحقًا إلى نادي هيبرنيان في موسم 1973–74 واستمر معه طيلة ثلاثة مواسم، مشاركًا في 69 مباراة سجل خلالها 26 هدفًا.[3]