James se vzdělával v Ludgrove na Gordonstoun School a na Královské zemědělské univerzitě v Cirencesteru. V letech 1948–50 sloužil se skotskou stráží v Malajsku. Sloužil také jako místo patron Braemarské Královské vysočinské společnosti a Britské olympijské asociace.
Vévoda z Fife
Vévodství Fife bylo poprvé uděleno v roce 1889 Jamesovu dědečkovi, 6. hraběti z Fife, královnou Viktorií při jeho sňatku s princeznou Luisou, nejstarší dcerou prince z Walesu. V dubnu 1900 získal první vévoda nový patent jako vévoda z Fife a hrabě z Macduffu ve šlechtickém stavu Spojeného království, tentokrát se zvláštním ostatkem jeho dcerám s princeznou Luisou a jejich mužským potomkům. Jedinými potomky vévodského páru byly dvě dcery, vévodství zdědila starší z nich Alexandra, která se provdala za Artura z Connaughtu.
26. února 1959 se stal James po své tetě Alexandře vévodou z Fife a hrabětem z Macduffu, protože její jediné dítě, syn Alastair zemřel bezdětn ještě před svou ní. 16. února 1992 se stal po smrti otce také hrabětem ze Southesku a předákem rodu Carnegie.
Žil v Elsick House na svém pozemku u Stonehavenu v Kincardineshire a také hospodařil na rodinném panství kolem zámku Kinnaird v Brechinu. Mezi jeho zájmy patřila sportovní auta, na Rallye Monte Carlo v roce 1955 řídil Ford Zephyr 6.
Car Mikuláš II.
V 90. letech 20. století byla vévodova mitochondriální DNA využita k identifikaci kostí nalezených v roce 1979 na Sibiři jako ostatky posledního ruského cara Mikuláše II., který byl v roce 1918 zavražděn s manželkou a dětmi. Alexandra Dánská, vévodova prababička, byla starší sestrou carovi matky Dagmar. Test vyžadoval potomka ženské linie, protože mDNA, pokud neexistuje mutace, je předávána v nezměněné podobě z matky na dítě. V případě vévody Jamese přešla mDNA od královny Alexandry na jeho babičku Luisu Koburskou, pak na jeho matku Maud a pak na něj. Vévodova mDNA se na 98,5 procenta shodovala s kostmi, což je vzácná nedokonalá shoda, o níž vědci měli podezření, že je způsobena genetickou mutací na ruské straně zvanou heteroplazmie. V roce 1994 byly v Petrohradě exhumovány ostatky Mikulášova mladšího bratra Georgije. Mitochondriální DNA od velkovévody Georgije také odhalila heteroplazmii, což potvrzuje teorii mutace a nezvratný důkaz, že kosti skutečně patřily poslednímu ruskému carovi.
Manželství a potomci
Vévoda před Elsick House (fotografováno Allanem Warrenem, 1984)
11. září 1956 se šestadvacetiletý lord Carnegie oženil s o pět let mladší Caroline Dewarovou, nejstarší dcerou 3. barona Forteviota. Do jejich rozvodu v roce 1966 se jim narodily tři děti:
syn (4. dubna 1958)
Lady Alexandra Clare Carnegie (20. června 1959), 11. května 2001 se provdala za Marka Fleminga Etheringtona, se kterým má jednu dceru Amélii.
David Carnegie, 4. vévoda z Fife (3. března 1961), 16. června 1987 se oženil s Caroline Anne Buntingovou, se kterou má tři syny.
