Kittredge avlade 1882 grundexamen vid Yale och 1885juristexamen vid Yale Law School. Han inledde därefter sin karriär som advokat i Sioux Falls. Han var ledamot av delstatens senat i South Dakota 1889-1891. Han blev utnämnd till USA:s senat efter att senator James H. Kyle hade avlidit i ämbetet. Han var senator fram till slutet av Kyles mandatperiod och därefter ännu en hel sexårig mandatperiod.