Évoluant au poste d'ailier, Shaffer connut une belle carrière à l'université de Caroline du Nord, où il fut élu ACC Men's Basketball Player of the Year en 1960. Il joua ensuite trois saisons en NBA (1961-1964) avec les 76ers de Philadelphie. Élu « All-Star » en 1963, Shaffer réalisa des moyennes de 16,8 points et 6,3 rebonds par match.