Son père, fermier, a également participé à des rallyes locaux dans sa jeunesse, et le tout jeune Juha débuta ainsi la conduite automobile sur ses propres terres familiales. Du fait du passage tout proche de l'itinéraire du rallye de Finlande, M. Kankkunen père devient un ami de Timo Makinen, ce dernier prodigant alors ses conseils à Juha. L'homme d'affaires Timo Jouhki, lui-même rallyman à ses moments perdus (et fils de Leo Jouhki, mécène d'Hannu Mikkola à ses débuts), aide financièrement Juha à son commencement en compétitions, très tôt de la sorte à l'étranger.
Kankkunen fait de la sorte ses classes en rallyes en 1978, et participe pour la première fois au niveau mondial un an plus tard lors du 1979, âgé à peine de vingt ans.
En 1986, il est engagé par Peugeot, et remporte le titre mondial pour sa première saison complète en rallye mondial.
Il récidive l'année suivante, cette fois pour le compte de Lancia, en devenant le premier double champion du monde consécutivement de rallyes.
Il revient ensuite deux années chez Toyota, disputant et remportant en parallèle le rallye Paris-Dakar1988 avec Peugeot, pour sa première participation.
En 1990, il revient deux ans chez Lancia, où il remporte son troisième titre en 1991, reprenant ainsi à lui seul le record de titres mondiaux.
En 1993, il revient une nouvelle fois chez Toyota et remporte son quatrième et dernier titre mondial, améliorant ainsi son record de titres, qui sera égalé en 1999 par Tommi Mäkinen et battu en 2008 par Sébastien Loeb. En 1995, il est en tête du championnat du monde à 3 manches de la fin de la saison lorsque l'équipe Toyota est disqualifiée et exclue du championnat du monde 1996 pour bride de turbo non conforme. L'année suivante, Kankkunen ne dispute que quelques manches mondiales sur des Toyota semi-officielles, terminant notamment 2e au rallye de Finlande.
En 1997, il arrive chez Ford en cours de saison, en remplacement d'Armin Schwarz. Il y reste l'année suivante, avant de signer chez Subaru pour deux ans, période durant laquelle il remporte ses deux dernières victoires mondiales, aux rallye d'Argentine et de Finlande1999.
Remplacé par Petter Solberg chez Subaru en 2001, il trouve refuge chez Hyundai où il effectue ses deux dernières saisons, avec des résultats plutôt modestes.
En 2005 il dispute pour la seconde fois de sa carrière le rallye Dakar, désormais pour le compte de Volkswagen, mais il est contraint à l'abandon.
Juha Kankkunen s'occupe désormais de son école de pilotage en Finlande.
En 2010 à 51 ans, il fait son retour en Rallye à l'occasion du rallye de Finlande après 8 ans d'absence. Il se classe 8e de la course au volant d'une Ford Focus WRC.
2007: record de vitesse sur glace (parcours de 2 × 16 km), à 321,650 kilomètres à l'heure, sur Bentley Continental GT cabriolet -radarisée- équipée de Pirelli (en mer Baltique sur portion gelée);
2011 (15 fev.): nouveau record de vitesse sur glace, à 330,695 kilomètres par heure, sur Bentley Continental GT Supersports cabriolet -radarisée- avec parachute de freinage, de plus de 600 CV cette fois, toujours sur Pirelli et toujours en mer Baltique gelée.