Né le à Halifax, en Nouvelle-Écosse, John Thompson épousa Annie Affleck (1845-1913) en 1870 et ensemble ils eurent deux fils et trois filles, quatre autres enfants mourant en très bas âge. Sa fille Annie mourut à l'âge de un an, et son plus jeune fils, David, n'atteignit que l'âge de deux ans. Deux autres de ses enfants moururent dès la naissance. Cinq autres enfants survécurent à l'enfance.
Carrière politique
De 1878 à 1882, John Thompson fut ministre de la Justice au gouvernement provincial de Simon H. Holmes. Il fut brièvement premier ministre de la Nouvelle-Écosse, mais son gouvernement fut défait dans l'élection tenue cette année-là. Il fut nommé à la Cour suprême de la Nouvelle-Écosse après avoir quitté la législature provinciale. Quand John A. Macdonald le recruta pour son gouvernement à Ottawa, il devint rapidement un membre éminent du gouvernement conservateur. Il réalisa le premier code criminel du Canada. Son ascension au sein du gouvernement est probablement attribuable autant à l'influence d'Ishbel Aberdeen, la femme du gouverneur général, qu'à la protection de Macdonald.
Le premier ministre précédent, John Abbott, voulut céder son poste à Thompson, mais des préjugés religieux contre les catholiques, généralisés dans la population majoritairement protestante, empêchèrent Abbott de le faire, et cela fut repoussé jusqu'à la retraite d'Abbott en 1892.
John Thompson mourut soudainement d'une crise cardiaque à l'âge de 49 ans le , au château de Windsor, où la reine Victoria venait de le faire membre de son Conseil privé. Il fut le deuxième des deux premiers ministres à mourir dans l'exercice de ses fonctions (après John A. Macdonald), et le premier des trois à décéder hors du Canada (les deux autres furent Charles Tupper et Richard Bedford Bennett).
Après des funérailles en Angleterre, organisées à l'initiative de la reine Victoria, il fut inhumé au cimetière Holy Cross à Halifax, en Nouvelle-Écosse.
