Son premier mandat ne dure que quatre jours, du au . Ce mandat arrive à la fin du gouvernement conservateur de son prédécesseur John Jones Ross, où il détient le poste de procureur général. Il dirige également le gouvernement à l'Assemblée législative car Ross ne peut y siéger, étant membre du Conseil législatif. Ross a perdu les élections générales de 1886, mais tente de s'accrocher au pouvoir avec un gouvernement minoritaire pour quelques mois de plus.
Taillon est chef de l'opposition de 1887 à 1890, quand il perd l'élection de 1890 ainsi que son propre siège.
Il démissionne en 1896 et fait le saut en politique fédérale pour servir en tant que ministre des Postes dans le très éphémère gouvernement conservateur de Charles Tupper, de à . Il ne parvient pas à remporter un siège à la Chambre des communes aux élections de 1896, et échoue encore une fois en 1900, mettant ainsi fin à sa carrière politique. En 1916, il est fait chevalier. Il meurt à Montréal en 1923. Il est enterré au cimetière Notre-Dame-des-Neiges, à Montréal.
Le taux de participation lors de l'élection était de 67,3 % et 2 008 bulletins ont été rejetés. Il y avait 278 607 personnes inscrites sur la liste électorale pour l'élection, toutefois seules 237 740 personnes avaient plus d'un candidat dans leur district.
Honneurs
La circonscription électorale de Taillon, créée en 1965, a été nommée en son honneur[11]. De même, la mémoire de cet homme est indirectement honorée dans le nom de Saint-Henri-de-Taillon, formé en partie d'après celui de l'ancien canton de Taillon[12]. Enfin, la rue Taillon à Québec a été nommée en son honneur[13].
