Casper comenzó a jugar al golf a la edad de cinco años. Fue caddy en el San Diego Country Club en su juventud, y se convirtió profesional en 1954. Obtuvo su primer triunfo en el PGA Tour en Boischate en 1956, y venció al menos una vez por temporada hasta 1971. Luego ganó dos torneos en 1973, y el último en Nueva Orleans en 1975. A lo largo de su carrera, logró 51 victorias en el circuito profesional estadounidense, lo que lo ubica séptimo en el historial, así como 236 top 10, que lo colocan cuarto en el historial.
El californiano lideró la lista de ganancias en 1966, cuando triunfó en los abiertos de San Diego, Estados Unidos, Oeste e Indianápolis, y en 1968, cuando logró seis victorias en Los Ángeles, Greensboro, Colonial, Indianápolis, Hartford y San Francisco. Además, consiguió el Trofeo Vardon al menor promedio de golpes en cinco temporadas: 1960, 1963, 1965, 1966 y 1968.
En paralelo, Casper disputó las ocho ediciones de la Copa Ryder entre 1961 y 1975, logrando 23,5 puntos de 37 para la selección estadounidense. También triunfó en el Abierto de Brasil de 1958 y 1959, el Abierto de México de 1977, el Trofeo Hassan II de 1973 y 1975 y el Abierto de Italia de 1975.
Ya como veterano, el californiano logró dos majors: el Abierto de Estados Unidos de Veteranos de 1983 y el Senior Players Championship de 1988, así como nueve victorias en el Senior PGA Tour.