Von 1807 bis 1810 studierte de la Fontaine Rechtswissenschaft in Paris und ließ sich im selben Jahr als Anwalt in der Stadt Luxemburg nieder. 1816 wurde er Mitglied der États provinciaux. Als die Belgische Revolution ausbrach, stand er auf Seiten von Wilhelm I. und wurde in die Regierungskommission berufen, die die Stadt Luxemburg kontrollierte.
Von 1841 bis 1848 war er Gouverneur des Großherzogtums. Am 1. August 1848 wurde er der erste Regierungspräsident Luxemburgs und war gleichzeitig für die Bereiche Außenbeziehungen, Justiz und Kultur zuständig. Bereits am 2. Dezember 1849 stürzte die Regierung. De la Fontaine war zwischen 1849 und 1851 Mitglied des Gemeinderats der Stadt Luxemburg, 1857 wurde er zum ersten Präsidenten des neu gegründeten Staatsrates ernannt, den er 11 Jahre lang leitete.