Nach dem Besuch der weiterführenden Schule absolvierte Smith das Yale College, wo er 1815 seinen Abschluss machte. Nach erfolgreichem Jura-Studium wurde er 1818 in die Anwaltskammer aufgenommen und begann in Litchfield zu praktizieren.
1845 kehrte Smith für vier weitere Jahre ins Repräsentantenhaus in Washington, D.C. zurück. Als ihm Präsident Zachary Taylor 1849 anbot, erster US-Innenminister zu werden, lehnte er dies ab. Er nahm stattdessen nach der im Vorjahr erfolgreichen Wahl sein neues Amt als US-Senator für Connecticut wahr. Damit trat Smith in beiden Kammern des Kongresses in die Fußstapfen eines Onkels: Nathaniel Smith saß von 1795 bis 1799 im Repräsentantenhaus, Nathan Smith von 1833 bis 1835 im Senat.
Truman Smith verblieb im Senat, bis er 1854 sein Mandat niederlegte. In New York City arbeitete er in der Folge wieder als Jurist. US-Präsident Abraham Lincoln berief ihn im Jahr 1862 zum Richter am US-Schiedsgericht (Court of Arbitration). Hier war er hauptsächlich mit der Bekämpfung des Sklavenhandels beschäftigt. 1870 zog Smith sich dann endgültig ins Privatleben zurück.
