Джо нарадзіўся ў Лондане 8 лістапада 1981 года. У 1999 годзе, з’яўляючыся юніёрам, заключыў свой першы кантракт з футбольным клубам «Вест Хэм». У сезоне 2002/03 стаў капітанам гэтай каманды. 6 жніўня2003 года Коўл падпісаў кантракт з «Чэлсі», які выклаў за іграка 6,6 млн фунтаў, пасля таго як ён адхіліў новы кантракт ад «Вест Хэма»[3]. Яго дэбют за «Чэлсі» прыпаў на 13 жніўня ў пераможным матчы Лігі чэмпіёнаў над славацкай «Жылінай» (2:0). Коўл скарыстаўся траўмамі Дэм’ена Дафа і Ар’ена Робена, стаўшы асноўным іграком каманды. У сезоне 2004/05 стаў чэмпіёнам Англіі.
Улетку 2010 года Коўл на правах свабоднага агента пакінуў «Чэлсі»[4]. Сам Коўл назваў прычыны, па якіх ён пакінуў клуб, палітычнымі і ніяк не звязанымі ані з футболам, ані з заробкам[5]. 19 ліпеня2010 года ігрок перайшоў у «Ліверпул» на правах свабоднага агента. У «Ліверпуле» Коўл атрымаў футболку з нумарам «10». 16 верасня 2010 года Джо забіў свой першы мяч у складзе «чырвоных» у матчы Лігі Еўропы ў браму румынскага «Сцяўа». 1 студзеня2011 года забіў свой першы гол за «Ліверпул» у Прэм’ер-лізе ў матчы супраць «Болтана», дзе мерсісайдцы перамаглі 2:1.
31 жніўня2011 года Коўл падпісаў гадавы кантракт арэнды з французскім «Лілем»[6]. Пасля чаго правёў сезон у клубе свайго юнацтва — «Вест Хэм». У 2014 годзе далучыўся да складу «Астан Вілы». Восенню 2015 года на правах арэнды адправіўся ў клуб трэцяга дывізіёна «Ковентры Сіці», з якім неўзабаве падпісаў паўнавартасны кантракт. 4 мая 2016 года стаў іграком клуба «Тампа Бэй Раўдыс» з другой па значнасці паўночнаамерыканскай лігі NASL[7].
У лістападзе 2018 года абвясціў аб завяршэнні кар’еры[8].
