Walther war der Sohn des protestantischen Pastors Georges Henri Walther und dessen Ehefrau Marie Elisabeth Chatel. Die Naturwissenschaftler Frédéric und Georges Cuvier waren seine Cousins.
Am 29. August 1802 zum Général de division befördert, nahm Walther an den Kämpfen in der Schlacht bei Ulm (16./19. Oktober 1805) und der Schlacht bei Austerlitz (2. Dezember 1805) teil und wurde in beiden Schlachten schwer verwundet. Nach seiner Genesung wurde er auch zum KammerherrnNapoleons ernannt.
Walther erlitt Ende November 1813 bei Cusel einen Zusammenbruch. Bei der Todesursache sprechen einige Quellen von Erschöpfung (bedingt durch die Spätfolgen seiner Verwundungen), andere nennen Typhus als Ursache. Walther starb im Alter von 52 Jahren am 24. November 1813 in Cusel. Eine Abordnung der Garde impériale brachte seinen Leichnam erst in die Kathedrale von Metz und später zurück nach Paris. Er fand seine letzte Ruhestätte auf dem Cimetière du Père-Lachaise (8. Division). Später wurde sein Leichnam umgebettet und liegt nun im Pantheon; sein Herz blieb in seinem Grab auf dem Père Lachaise.
Walther heiratete am 12. April 1802 Salome-Louise Coulman (* 1782) und hatte mit ihr zwei Töchter.