Il se présente aux élections de 1858 à l'Assemblée législative de la province du Canada en tant que candidat conservateur dans Chicoutimi et Saguenay. Ayant échoué, il se présente à nouveau dans Chicoutimi-Saguenay en 1865, lorsqu'il réussit à être élu.
De 1862 à 1870, il a une relation amoureuse avec Félicité Angers, mais finit par se marier à Mary Ellen Connoly en 1870.
Double mandat
En 1867, il est élu sans opposition à la fois à la Chambre des communes du Canada dans Chicoutimi—Saguenay et à l'Assemblée législative du Québec dans Chicoutimi-Saguenay, comme député indépendant. Il passe ensuite sous la bannière libérale en raison de son opposition à la confédération canadienne de 1867. En 1872, il siège encore à la fois aux deux assemblées, provinciale et fédérale, mais après la loi abolissant les doubles mandats en 1874 il se consacre uniquement à la politique fédérale.
Député de Charlevoix
Il mène une célèbre bataille électorale en 1876 contre Hector-Louis Langevin. Libéral, Tremblay a des convictions religieuses sincères, mais il doit affronter l'opposition du clergé catholique, ébranlé par le catholicisme libéral et la crise moderniste.
Lors de l'élection fédérale générale de 1874, Tremblay est élu dans la circonscription de Charlevoix, mais cette élection locale est annulée. Pour combler le siège, une élection partielle est tenue dans Charlevoix le . Elle oppose Tremblay et Langevin. Langevin gagne cette élection. Tremblay conteste l'élection de Langevin devant les tribunaux. C'est la fameuse cause dite de « l'influence indue » du clergé dans les élections. Tremblay est représenté par François Langelier. Mais le juge Adolphe-Basile Routhier de la Cour supérieure, dans son jugement rendu le , confirme l'élection de Langevin. La décision est portée en appel puis finalement renversée, et l'élection de Langevin annulée, par la Cour suprême le , dans un jugement rendu par le juge Jean-Thomas Taschereau. Une nouvelle élection partielle est tenue le et c'est Hector Langevin qui l'emporte. Ce serait de cet épisode que le célèbre slogan « Le ciel est bleu, l'enfer est rouge» serait né.
Défait à l'élection provinciale de 1878, Tremblay est élu une dernière fois à la Chambre des communes du Canada la même année.
Carrière journalistique
Sa carrière journalistique était moins connue du public, même s'il avait collaboré dans plusieurs journaux canadiens, dont La Nation, L'Événement, Le National et Le Canadien. Rédacteur en chef de L'Éclaireur, il y rédigea son testament public dans lequel il pardonnait à tous ceux qui l'avaient offensé au cours de sa longue carrière politique.
Il meurt en fonction en 1879 à l'âge de 51 ans. Ses funérailles sont célébrées à la basilique-cathédrale Notre-Dame de Québec. Il est d'abord inhumé à Sillery puis, en 1880, son corps est transporté à un cimetière de La Malbaie. Ayant épousé Mary Ellen Connolly, il n'avait pas d'enfant.
