Er wurde sehr früh in die Obhut eines Erziehers gegeben. Er erhielt eine umfassende und vorzügliche Ausbildung, sprach mehrere Fremdsprachen und zeigte sich an Literatur, Geschichte, Naturwissenschaften, Philosophie und Geographie interessiert. Er besuchte zunächst das Eton College, dann die Universität St Andrews und war später am Trinity College der Universität Cambridge. Nach seiner Kavalierstour in Italien fungierte er von 1868 bis 1871 als Privatsekretär seines Vaters im India Office. Parallel wurde er erstmals 1868 als Abgeordneter der Liberal Party ins House of Commons gewählt. Er gehörte dem Parlament von 1868 bis 1878 als Abgeordneter für Argyllshire und von 1895 bis 1900 für Manchester South an.
Am 21. März 1871 heiratete er in der St George’s Chapel auf Windsor Castle Prinzessin Louise Caroline Alberta (1848–1939), das sechste Kind von Königin Victoria und deren Prinzgemahl Albert von Sachsen-Coburg und Gotha. Die Eheschließung war durchaus umstritten, weil es die erste Heirat zwischen einer Tochter eines britischen Monarchen und einem britischen Staatsbürger, also keinem ausländischen Prinzen aus einem regierenden oder mediatisierten Haus, seit 1515 war. Die Ehe blieb kinderlos.
Von 1878 bis 1883 diente er als Generalgouverneur von Kanada und von 1892 bis 1914 hatte er das Amt des Generalgouverneurs und Constable von Windsor Castle inne. Beim Tod seines Vaters erbte er dessen Adelstitel als Duke of Argyll, wodurch er einen Sitz im House of Lords erhielt und dafür aus dem House of Commons ausschied. Als Nachfolger seines Vaters wurde er außerdem Chief des Clan Campbell.
Nach der Rückkehr aus Kanada lebte sich das Ehepaar zusehends auseinander und sie gingen oft eigene Wege. Grund hierfür war unter anderem Campbells politische Karriere, die im Gegensatz zur Neutralität der königlichen Familie stand. Es gab auch Gerüchte über eine angebliche Homosexualität seinerseits. Seine Frau hatte in diesen Jahren verschiedene romantische Beziehungen, unter anderem zu ihrem Schwager, dem Prinzen Heinrich Moritz von Battenberg, zu Arthur Bigge, dem königlichen Privatsekretär, und zu Sir Edwin Lutyens; ob diese auch sexueller Natur waren, ist nicht belegt.
John Campbell starb am 2. Mai 1914 im Kent House in Cowes auf der Isle of Wight an den Folgen einer Lungenentzündung.
K. D. Reynolds: Aristocratic Women and Political Society in Victorian Britain. The Clarendon Press/Oxford University Press, New York 1998, ISBN 0-19-820727-1.
Peter W. Hammond: The Complete Peerage or a History of the House of Lords and All its Members From the Earliest Times. Alan Sutton Publishing, Gloucester 1998.