Джон О’Хэр родился в Рентоне, Шотландия. Клубную карьеру начал в английском клубе «Сандерленд», выступая за красно-белых между 1964 и 1967 годами.
Затем О’Хэр перебрался в «Дерби Каунти» за 20 тысяч фунтов стерлингов. На новом месте футболиста часто критиковали, поскольку на поле он не отличался хорошей скоростью и был достаточно медлителен[источник не указан 1908 дней]. Однако главный тренер клуба Брайан Клаф не терял веру в игрока, и уже во втором сезоне О’Хэр оправдал затраты клуба. Он помог клубу выиграть первый в истории титул чемпиона Англии. «Дерби Каунти» всего на одно очко опередил шедший следом «Манчестер Сити».
Когда Клаф покинул «Дерби Каунти», Джон О’Хэр вместе с партнёром по команде Джоном Макговерном последовал за тренером и перешёл в «Лидс Юнайтед». Карьера в новом клубе не сложилась ни у тренера, ни у игрока. Брайан Клаф покинул команду всего через 44 дня.