Jos Luhukay játékoskarrierjét 15 évesen kezdte meg szülővárosának csapatánál, a VVV-Venlonál. 1989-től 1991-ig a Schiedam csapatának játékosa volt. Ezt követően a Waalwijk játékosa volt 1993-ig, majd a németSV Straelen csapatába igazolt. Onnan a KFC Uerdingenhez szerződött 1995–1996-ban. 1998-ban a Straelen csapatánál játszott. Jos Luhukay mindig középpályás poszton szerepelt a csapataiban.
Edzőként
Miután visszavonult, 1998-tól 2000-ig az SV Straelen vezetőedzője lett. Majd ezek után két évig a KFC Uerdingen edzőjeként dolgozott. Ezalatt kapott egy meccset a Köln kispadján, amelyet a csapat elvesztett. 2005-ben a Bundesliga 2-ben szereplő SC Paderborn 07 csapat vezetője lett.
2007. január 2-án ő lett a csapat segédedzője. 2007. január 31-én az akkori edző, Jupp Heynckes lemondott és ő lett a csapat vezetőedzője. 2008. október 5-én szerződést bontottak vele.
2009. március 23-án aláírt az FC Augsburghoz. A csapat irányítását 2009. június 1-én vette át hivatalosan. A 2011–2012-es Bundesligában az utolsó meccs előtt lemondott.
Ez a szócikk részben vagy egészben a Jos Luhukay című angol Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.