Natif de Virginie, Scott sort diplômé de l'université de Virginie pendant la guerre de Sécession. Il part ensuite pour la Californie où il travaille comme enseignant avant de rencontrer Arinori Mori, un envoyé du gouvernement japonais, qui lui offre un poste de conseiller étranger au Japon. Scott arrive à Tokyo en 1871 et enseigne l'anglais à la Daigaku Nankō, l'ancêtre de l'université impériale de Tokyo, puis plus tard à l'université de l'éducation de Tokyo où il développe un programme de formation pour les enseignants japonais basé sur les concepts occidentaux de la pédagogie, comme les théories de Johann Heinrich Pestalozzi. Il travaille également au ministère de l'Éducation pour développer le système scolaire national qui dominerait le système éducatif de l'empire du Japon. Après la fin de son contrat, il quitte le Japon en 1881. Scott s'installe alors au royaume d'Hawaï où il continue à travailler comme enseignant. Il maintient des contacts au Japon par l'intermédiaire de la communauté japonaise d'Hawaï.
