Randall toimi Pennsylvanian osavaltiosenaattorina ja sen jälkeen osallistui Yhdysvaltain sisällissotaan. Hän istui Yhdysvaltain edustajainhuoneessa vuodesta 1863 kuolemaansa asti ja edustajainhuoneen puhemiehenä 1876–1881.[1] Häntä pidettiin mahdollisena demokraattien presidenttiehdokkaana vuosien 1880 ja 1884 vaaleissa.