Garvin gick först med i republikanerna men bytte 1876 parti till demokraterna. Han tjänstgjorde senare i båda kamrarna av Rhode Islands lagstiftande församling.
Garvin förlorade guvernörsvalet 1901 mot ämbetsinnehavaren William Gregory. Han besegrade sedan Charles D. Kimball, som hade tillträtt guvernörsämbetet efter Gregorys död i december 1901, i guvernörsvalet 1902. Garvin efterträdde den 3 januari 1903 Kimball som guvernör. Han ställde senare samma år upp för omval och vann mot industrialisten Samuel D. Colt som var brorson till Samuel Colt. Garvin efterträddes 1905 av George H. Utter.
