Graves var offiser og deltok i den amerikanske borgerkrigen der han ble såret i slaget ved Gettysburg. Den militære løpebanen endte i 1870 da Graves var oberst. Etter at karrieren i hæren var over slo han seg opp som forretningsmann i Duluth. Graves var politisk aktiv for Det republikanske parti i Minnesota. Han var ordfører i Duluth i to perioder og medlem av delstatsforsamlingen i Minnesota, først som senator 1873–76 og deretter i representantenes hus 1889–90.[4]
Som diplomat var han politisk oppnevnt. Han presenterte sine akkreditiver som USAs minister i Sverige og Norge den 31. mai 1905, mens landene fortsatt var i union. Den 6. august 1905 ble hans mandat avsluttet for Norges vedkommende og 14. november 1905 fikk han instruks om å utøve ministerfunksjonene for Norge og Sverige separat.[5] USA anerkjente Norges selvstendighet 30. oktober 1905.
Graves fortsatte å bo i Stockholm, der han tjenestegjorde som minister i Sverige til 12. desember 1913. For Norge ble det utnevnt en ny minister i juni 1906, Herbert H.D. Peirce.[6] Peirce presenterte sine akkreditiver den 13. august 1906. Det var dermed Graves som sto på gjestelisten ved kong Haakon VIIs kroning i Trondheim den 22. juni 1906.[7]
^Unionens Opløsning 1905. Officielle Aktstykker vedrørende Unionskrisen og Norges gjenreisning som helt suveræn Stat, Kristiania: Stenersen, 1906, s. 1118.
.png)