D'origine libanaise et avocat de profession, Joe Ghiz commence sa carrière politique en devenant chef du Parti libéral de l'Île-du-Prince-Édouard en 1981. L'année suivante, il est élu à l'Assemblée législative de la province, dans laquelle il est chef de l'opposition. En 1986, il remporte les élections provinciales et devient premier ministre. Reconduit après les élections de , il démissionne en pour raison de santé et est remplacé à la tête du Parti libéral comme du gouvernement provincial par Catherine Callbeck. Il meurt d'un cancer trois plus tard.
Son fils, Robert Ghiz, est également devenu premier ministre de l'Île-du-Prince-Édouard à l'issue des élections de 2007.
