Smith var søn af Byrd og Sarah Hatcher (Wodson) Smith. Han tog eksamen fra West Point i 1842 som nr. 8 i en årgang på 45. Den 3. oktober1844 giftede han sig med Lucretia Bassett (død 1881). De fik ingen børn.
I 1845 blev Smith udnævnt til sekondløjtnant i ingeniørkorpset. Han gjorde tjeneste i den Mexicansk-amerikanske krig og blev tre gange forfremmet. Han deltog i slagene ved Veracruz, Cerro Gordo, Contreras, Chrurubusco og Chapultepec. Mellem 1849 og 1854 underviste han i ingeniørvæsen på West Point. Derefter flyttede han i 1854 til New Orleans for at deltage i guvernør John A. Quitmans felttog mod fribytterne på Cuba. I 1856 rejste han til New York og var indtil 1858 chefingeniør for jernværket i Trenton. Derefter var han i 1858–1861 ansvarlig for vejvæsenet i New York.
Fra 17. november-20. november 1862 var han fungerende krigsminister. Smith lå i strid med præsident Jefferson Davis, og han blev sendt til Charleston i South Carolina, hvor han kom til at gøre tjeneste under general P.G.T. Beauregard. Han trådte ud af hæren den 17. februar1863, fordi det irriterede ham, at han til stadighed kom til at gøre tjeneste under officerer med lavere anciennitet. Derefter var han inspektør ved Etowah Mining & Manufacturing Company i Georgia. Fra juni 1864 til krigens slutning var han brigadegeneral i staten Georgias milits og deltog i en række kampe i Georgia, hvor han førte sine tropper effektivt og virkningsfuldt. Han overgav sig i april 1865 i Macon i Georgia og blev løsladt kort efter krigens slutning.
Efter krigen
Fra 1866 til 1870 var Smith inspektør i et jernværk i Chattanooga i Tennessee, og fra 1870 til 1875 var han forsikringsinspektør i Kentucky. I 1876 vendte han tilbage til New York City, hvor han udgav en række bøger, f.eks. Confederate War Papers (1884) og The Battle of Seven Pines (1891). Han døde i New York den 4. juni 1896 og blev begravet på Cedar Grove Cemetary i New London, Connecticut.
Referencer
Eicher, John H., and Eicher, David J., Civil War High Commands, Stanford University Press, 2001, ISBN0-8047-3641-3.
Jon L. Wakelyn: Biographical Dictionary of the Confederacy Louisiana State University Press, Baton Rouge ISBN0-8071-0092-7