Seine Eltern waren August Theodor Albert Walther, ein Kupfer- und Eisengießer, und Rosalie Wilhelmine Amalie Pistor, die aus der Büchsenmacherfamilie Pistor stammte. Seine Ausbildung erhielt Walther bei den Büchsenmachern Willibald Barthelmes und später bei Albin Schneider.
1886 gründete Walther in Zella-Mehlis, Thüringen seine eigene Büchsenmacherei, das Vorgängerunternehmen des heutigen deutschen Unternehmens Carl Walther GmbH ist. 1888 heiratete er Minna Georgine Pickert, mit der er fünf Kinder hatte.[2]
Sein ältester Sohn Fritz Walther (1889–1966) übernahm nach dem Tod von Carl Wilhelm Walther den väterlichen Betrieb.[3]
Sein Sohn Lothar Walther (1899–1983) gehörte in den 1930er Jahren der deutschen Nationalmannschaft der Pistolenschützen an und errang mit ihr die Bronzemedaille bei den Weltmeisterschaften 1939. Er gründete 1925 die Lothar Walther Feinwerkzeugbau GmbH, die bis heute spanlos gezogene (kaltfließgepreßte) Läufe für Schusswaffen fertigt.