Fill d'un humil obrer, va rebre una educació rudimentària, però dotat de gran amor a l'estudi aconseguí adquirir els coneixements necessari per entrar com a preceptor en una escola de Hartsville (1856), començant poc temps després a estudiar de forma metòdica la música; fou professor de cant i va compondre diversos himnes religiosos i cançons patriòtiques que assoliren gran popularitat. El 1865 fou contractat per una empresa de Chicago, donà una sèrie de concerts pels Estats del nord-oest.; durant aquell viatge va conèixer i travà amistat amb Dwight L. Moody, cap d'una secta religiosa anomenada de la Revivicació, pels que va compondre diversos himnes impregnats d'unció religiosa que li conquistaren un cert renom, el mateix que algunes composicions religioses per a la secta baptista a la qual pertanyia.
Entre les seves millors obres cal citar els cants o himnes: Hold the Fort, Doron Life's Dark Vale Hallelujah! "tis done", Jesus Love me. Pull for Shore Sailor i les següents recopilacions que comprenen la immensa majoria de les seves composicions; The Charm (1871), The Song Tree (1872), The Joy (1873), Gospel Song (1874). Whittle publicà el 1877 les seves memòries amb notes d'Ira D. Sankey i D. L. Moddy.
