Baldwin erhielt seine erste Auszeichnung für seine Taten während des Atlanta-Feldzugs, wo er seine Kompanie in die Schlacht am Peachtree Creek führte und zwei Unteroffiziere der Konfederierten gefangen nahm. Die zweite erhielt er 1874 während der Indianerkriege für auffallende Tapferkeit.[1]
Er ist zusammen mit seiner Frau auf dem Nationalfriedhof Arlington in der Nähe des Mausoleums von Nelson A. Miles, seinem Vorgesetzten in den Indianerkriegen, begraben.