Sherman studerade vid McKendree College i Illinois och fortsatte sedan med juridikstudier. Han praktiserade som advokat i Macomb, var stadsåklagare 1885–1887 och tjänstgjorde sedan som domare i McDonough County fram till 1890. Han var viceguvernör i Illinois 1905–1909 och fortsatte sedan som advokat i delstatens huvudstad Springfield.
Senator William Lorimer avsattes 1912 på grund av en korruptionsskandal och Sherman tillträdde som senator den 26 mars 1913. Republikanerna i Illinois nominerade Sherman till omval i senatsvalet 1914 och han besegrade demokraten Roger C. Sullivan, två socialister, en progressiv och en prohibitionist. Sherman efterträddes 1921 som senator av William B. McKinley.
Efter tiden som senator återgick Sherman till arbetet som advokat och flyttade år 1924 till Daytona Beach.