Båda Taylors föräldrar dog tidigt. Han växte upp i delstaten New York och flyttade 1848 till Dane County, Wisconsin. Han blev 1854 invald i Wisconsin State Assembly, underhuset i delstatens lagstiftande församling. Efter en mandatperiod i underhuset tillbringade han två år i delstatens senat.