Silsbee var ledamot av USA:s representanthus1817-1821. Han blev därefter invald i Massachusetts House of Representatives, underhuset i delstatens lagstiftande församling. Han var ledamot av delstatens senat 1823-1825 och tjänstgjorde som ordförande för delstatens senat under denna period.
James Lloyd avgick 1826 från USA:s senat och Silsbee tillträdde som senator 31 maj 1826. Han omvaldes till en hel mandatperiod och satt i senaten fram till 3 mars1835. Han var ordförande i senatens handelsutskott 1833-1835.