Goldthwaite studerade vid United States Military Academy i West Point. Därefter studerade han juridik. Han gifte sig 1835 med Olivia Price Wallach. Paret fick sex barn.
Goldthwaite var domare i Alabamas högsta domstol 1852-1856. Han efterträdde 1856 William Parish Chilton som domstolens chefsdomare men avgick efter tretton dagar i ämbetet.
Goldthwaite efterträdde 1871 Willard Warner som senator för Alabama. Han kandiderade inte till omval efter en mandatperiod i senaten och efterträddes i mars 1877 av John Tyler Morgan.
