Tracy studierte 1778 an der Yale University Jura. Im Jahr 1781 bekam er seine Zulassung und praktizierte fortan für viele Jahre in Litchfield als Rechtsanwalt. Von 1788 bis 1793 saß er (zeitweise als Speaker) im Repräsentantenhaus von Connecticut sowie von 1793 bis 1796 im Repräsentantenhaus der Vereinigten Staaten. Nach seinem Trimester wurde er in den US-Senat gewählt, um den Platz von Jonathan Trumbull junior einzunehmen, der zurückgetreten war. Tracy war in diesem Amt tätig, bis er in Washington D.C. starb. Er wurde im neugebauten Kongressfriedhof begraben. Sein Porträt, gemalt von Ralph Earl, ist in der Sammlung der „Litchfield Historical Society“ in Litchfield.