Der aus einer 1945 von Pommern nach Zeitz geflüchteten Familie stammende Walther begann 1959 nach dem Abitur eine Lehre als Spitzendreher und absolvierte ein Studium der Mathematik an der Technischen Universität Dresden, welches er 1964 als Diplom-Mathematiker abschloss. Im selben Jahr kam er an die Technische Hochschule Ilmenau und wurde Assistent. 1966 erfolgte hier seine Promotion zum Dr. rer. nat. mit der Arbeit Über das Problem der Existenz von Hamiltonkreisen in planaren, regulären Graphen von Grad 3, 4 und 5[1] und 1969 schließlich seine Habilitation mit der Arbeit Extremalkreise und längste Wege in endlichen Graphen, ebenfalls in der Graphentheorie. Seit 1970 war er als Dozent tätig und wurde 1986 zum außerordentlichen Professor (ohne Lehrstuhl) ernannt. Nach der Wende übernahm er den Lehrstuhl für Diskrete Mathematik und Algebra in Ilmenau.
1989 zählte Walther zu den Mitbegründern der Forumpartei in Thüringen, schloss sich dann aber im Januar 1990 als Mitbegründer der Deutschen Sozialen Union an, als deren stellvertretender Vorsitzender er auch sogleich amtierte. Von Juni 1990 bis Juni 1991 war er Vorsitzender der DSU. 1993 trat er in die CDU ein.
Am 3. Oktober 1990 wurde Walther als Bundesminister für besondere Aufgaben in die von BundeskanzlerHelmut Kohl geführte Bundesregierung berufen. Nach der für die DSU erfolglosen Bundestagswahl am 2. Dezember 1990 (im Wahlgebiet Ost nur 1,0 %) schied er am 18. Januar 1991 aus der Bundesregierung aus.