Figlio di James Alexander Witherspoon e Anne Walker, discendente di John Welsh e John Knox. Frequentò la Haddington Grammar School, in seguito ottenne un Master of Arts all'università di Edimburgo nel 1739.
Grazie anche alle premure di Benjamin Rush e Richard Stockton, divenne rettore (il sesto) dell'università di Princeton. Per compiere tale attività si trasferì all'età di 45 anni nello stato del New Jersey nel 1768.
Divenne cieco dal 1792, morì due anni dopo. Il suo corpo venne sepolto al cimitero di Princeton.