En 1997, il signe pour l 'équipe cycliste néerlandaise RDM, n'obtenant que quelques rares places dans les dix premiers lors de sa première saison professionnelle. Il signe ensuite un contrat avec l’équipe danoise Team Acceptcard pour 1998. Il y remporte sa première victoire professionnelle, le GP Skive. Piil se révèle en 1999, obtenant de nombreux bons résultats et une victoire au USPRO Championship. En 2000, il rejoint le Team Memory Card - Jack & Jones, qui deviendra le Team CSC.
Sa première saison au sein de l'équipe Memory Card n'est pas à la hauteur de ses espoirs, même s'il obtient quelques résultats. Il est en effet victime d'un accident de voiture juste avant Milan-San Remo, ce qui perturbe les quatre premiers mois de sa saison. La saison suivante est bien meilleure pour Piil, qui remporte la Course de la Paix en mai et obtient une importante deuxième place lors de la 17e étape du Tour de France. Échappé avec 16 autres coureurs dès le cinquième kilomètre, Piil compte parmi les trois coureurs qui ne sont pas repris par le peloton, mais est battu par Serge Baguet. En 2002, Jakob Piil remporte le Tour du Danemark en août, puis en fin de saison sa plus belle victoire, la classique Paris-Tours après un sprint à deux face à Jacky Durand. Il cherche à nouveau cet été là à remporter une étape du Tour de France, mais sans succès : il déchausse dans le sprint de la 18e étape, et termine troisième, devancé par ses compagnons d'échappée Thor Hushovd et Christophe Mengin[1].
En 2003 il remporte à nouveau plusieurs courses, et en particulier la 10e du Tour de France. Après une longue échappée de 9 coureurs, il bat au sprint l’ItalienFabio Sacchi, à qui il serre la main avant de lui disputer la victoire. Contraignant son adversaire à lancer le sprint, il profite de son aspiration pour le devancer dans les derniers mètres. Piil cherche à remporter une nouvelle étape en 2004, mais sans succès, et il connaît une saison 2005 difficile, marquée par plusieurs blessures, qui lui valent d'être écarté de l’équipe CSC pour le Tour de France. A la place, il participe à la Vuelta, où il fait à nouveau preuve de combativité avant de quitter la course, malade. Il retrouve néanmoins ses facultés à temps pour le Championnat du monde, dont il prend la 5e place.
En 2006, Piil n'est sélectionné pour aucun grand tour. Il quitte alors CSC pour l’équipe allemandeT-Mobile Team[2], où il court un an avant de mettre fin à sa carrière.
