Hans farfarsfar var en tysk invandrare från Baden. Det ursprungliga tyska släktnamnet Diefenbacker angliserades efter Diefenbakers farfars död. Han studerade statskunskap, nationalekonomi och juridik vid University of Saskatchewan. Han gifte sig 1929 med Edna Brower. Edna avled 1951 och Diefenbaker gifte om sig 1953 med Olive Palmer, som hade en dotter från ett tidigare äktenskap. Han hade inga egna barn.
Han tjänstgjorde i första världskriget i den kanadensiska armén från mars1916 till juli1917. Han befordrades till löjtnant. Han arbetade efter kriget som försvarsadvokat i Saskatchewan. Han hade ofta fattiga klienter. Han representerade klienter i tjugo mordfall och förlorade bara två av fallen. Han ledde Saskatchewans konservativa parti 1936-1938.
Han var ledamot av underhuset i Kanadas parlament1940-1979 och partiledare för Progressiva konservativa partiet 1956-1967. Diefenbaker var en skicklig talare och med ett populistiskt budskap ledde han partiet till valseger 1957. Han bildade en minoritetsregering, i vilken han också själv var utrikesminister en kort tid. Sidney Smith utnämndes till ny utrikesminister i september 1957. Diefenbaker utlyste nyval nio månader efter det förra valet och han vann en förkrossande seger i 1958 års val. Han kunde forma en majoritetsregering som hade den största majoriteten i Kanadas historia. Diefenbaker och Dwight D. Eisenhower var goda vänner men hans relation till John F. Kennedy var betydligt svalare, speciellt efter att Diefenbaker inte konsulterades under Kubakrisen. Han kritiserade apartheid i Sydafrika och var 1961 med om att förhindra Sydafrikas återinträde till Samväldet.
Diefenbaker ledde oppositionen fram till 1967. Regeringen Pearson ville byta Kanadas flagga och Diefenbaker ledde motståndet mot den nya lönnlövsflaggan (Maple Leaf Flag). Han ville behålla den gamla flaggan Red Ensign och kallade den nya nedsättande för Pearson Pennant.
Diefenbaker var evangelikalbaptist. Han var frimurare och medlem i Shriners. Medan även andra kanadensiska premiärministrar har varit frimurare, har endast Diefenbaker varit med i Shriners.
