Han var ledamot av USA:s representanthus från New York1859–1863 och 1865–1867. Även hans bror Frederick A. Conkling var ledamot av USA:s representanthus från New York 1861–1863. Båda bröderna misslyckades i sina kampanjer att bli omvalda i 1862 års kongressval. Roscoe Conkling kom tillbaka två år senare. Brödernas far Alfred Conkling hade varit ledamot av USA:s representanthus från New York 1821–1823.
Conkling var ledamot av USA:s senat från New York 1867–1881. Han avgick i protest mot president James Garfields federala utnämningar för delstaten New York. Även den andra senatorn från New York Thomas C. Platt avgick. Efter den politiska karriären arbetade han som advokat i New York och tackade 1882 nej till att bli utnämnd till USA:s högsta domstol.
Hans grav finns på Forest Hill Cemetery i Utica. Conklings staty finns på Madison Square i New York.[1]
