Il a interprété de nombreux rôles de méchant dans les westerns, souvent face à la star du cinéma muet Harry Carey, figure emblématique du western, avec lequel il est finalement devenu ami. Ils ont souvent travaillé ensemble, apparaissant dans une vingtaine de westerns. Lui et Carey sont restés amis pour la vie, et il a vécu avec Carey et sa famille pendant la majeure partie de sa vie. À la fin des années 1910, il est devenu membre de la John Ford Stock Company, la société par actions de John Ford chez Universal Pictures, avec lequel il a tourné de nombreux films en compagnie de son ami Harry Carey.
Joe Harris est mort le à Hollywood, en Californie, dans la maison de Harry Carey Jr., le fils de son ancien partenaire, à l'âge de 83 ans.
