Originaire d’une famille de quakers, il s’oriente vers la médecine qu’il étudie à l’université de Pennsylvanie en 1802-1803 où il se lie d’amitié avec William Darlington (1782-1863). Il renonce à ses études pour devenir l’assistant du docteur William A. Todd. C’est le docteur Moses Marshall (1758-1813) qui l’initie à la botanique.
Il s’installe à Wilmington, dans le Delaware, où il se marie l’année suivante, en 1808, avec Hannah M. Webster. Souffrant de tuberculose, Baldwin s’installe en Géorgie dans l’espoir de voir son état s’améliorer sous un climat plus clément. Il sert comme chirurgien de la marine à St. Mary’s et à Savannah en Géorgie durant près de cinq ans. Il herborise dans le sud du pays et correspond notamment avec Stephen Elliott (1771-1830) et William Darlington. De 1817 à 1818, il sert à bord de la frégate Congress qui voyage en Amérique du Sud. Après ce voyage, sa famille s’installe à Willington et commence, sous les encouragements de Darlington, à travailler sur un compte rendu de ses observations botaniques. Celui-ci est suspendu lorsque Baldwin prend part à un voyage, comme botaniste, dirigé par Stephen Harriman Long (1784-1864) dans les montagnes Rocheuses. Mais Baldwin, sa santé se détériorant, doit quitter l’expédition.