Van den Heuvel promoveerde tot doctor in de rechten en tot doctor in de politieke en bestuurlijke wetenschappen aan de Universiteit van Gent. Vervolgens studeerde hij in buitenlandse steden, waaronder Parijs, Berlijn, Rome en Londen. In Londen bestudeerde hij de werking van het gerecht.
Na zijn terugkeer naar België in 1879 schreef zich als advocaat in bij de balie van Gent. Tijdens de Eerste Schoolstrijd schreef hij onder een schuilnaam ook artikelen in het katholieke weekblad L'Impérial, waarin de vrijheid van onderwijs en van vereniging verdedigde. In 1883 werd hij benoemd tot professor aan de Katholieke Universiteit Leuven.
Van 1899 tot 1907 was hij minister van Justitie in de regering-De Smet de Naeyer II. Na zijn ministeriële loopbaan werd hij actief in de diplomatie en werd door België afgevaardigd bij de Conferentie van Den Haag. Tijdens de Eerste Wereldoorlog volgde hij de Belgische regering naar Le Havre en werd in 1915 benoemd tot ambassadeur bij de Heilige Stoel. Na het einde van de Eerste Wereldoorlog was hij samen met Paul Hymans en Emile Vandervelde de Belgische vertegenwoordiger bij de onderhandelingen voor het Verdrag van Versailles. Tevens was hij actief als industrieel.
