Rufus Polk besuchte die Webb’s Academy in Culleoka. Danach studierte er bis 1887 an der Lehigh University in Pennsylvania. Anschließend belegte er noch einen Kurs im Fach Bergbau. Er ließ sich in Danville nieder, wo er als Chemiker arbeitete. Außerdem bekleidete er mehrere führende Stellen bei einigen Stahlfirmen. Während des Spanisch-Amerikanischen Krieges von 1898 diente er in einer Freiwilligeneinheit aus Pennsylvania. Politisch wurde er Mitglied der Demokratischen Partei. Im Juli 1900 nahm er als Delegierter an der Democratic National Convention in Kansas City teil, auf der William Jennings Bryan als Präsidentschaftskandidat nominiert wurde.
