Ruffin besuchte Gemeinschaftsschulen und graduierte dann 1841 an der University of North Carolina Law School in Chapel Hill. Nach seiner Zulassung als Anwalt eröffnete er eine eigene Praxis. Später war er von 1844 bis 1848 als Bezirksstaatsanwalt für sieben Gerichtsbezirke des Staates Missouri tätig. Ruffin entschied sich 1852 eine politische Laufbahn einzuschlagen, indem er für einen Sitz im 33. US-Kongress kandidierte. Er gewann die Wahl, wurde drei Mal wiedergewählt und war so vom 4. März 1853 bis zum 3. März 1861 im US-Repräsentantenhaus tätig.