Il est le fils d’Ignatius Sargent et d’Henrietta née Gray. Il obtient son Bachelor of Arts en Biologie à Harvard en 1862. De 1872 à 1873, il enseigne l’horticulture à Harvard. Le , il se marie à Mary Allen Robeson. Il dirige le jardin botanique de 1873 à 1879 et dirige l’arboretum Arnold en 1872. Il enseigne l’arboriculture à partir de 1879.
Sargent organise la collection Jesup des arbres américains au National Museum of Natural History. Il participe, en 1885, il dirige à la commission chargée de la conservation des forêts des monts Adirondacks. De 1896 à 1897, il dirige la commission organisée par la National academy of sciences qui est chargée d’étudier la politique forestière du gouvernement américain.
Sargent est notamment l’auteur de : Catalogue of the Forest Trees of North America ; The Woods of the United States ; The Forest Flmora of Japan ; Silva of North America ; Report of the Forests of North America ; Manual of the Trees of North America et Trees and Shrubs. Il est le directeur de publication de Garden and Forest de 1887 à 1897.
