Ukończył Eton College oraz Królewską Akademię Wojskową w Sandhurst. Następnie podjął karierę wojskową, w trakcie której walczył m.in. w Sudanie (1900–1903) oraz we Francji (podczas I wojny światowej). W wojsku dosłużył się stopnia generała. W 1907 odziedziczył tytuł baroneta Kilkerran. Po przejściu w stan spoczynku, w 1923 bez powodzenia kandydował do parlamentu. Rok później został mianowany gubernatorem generalnym Nowej Zelandii. Stanowisko to było na stałe związane z historią jego rodziny. Gdy Nowa Zelandia była jeszcze kolonią, jej gubernatorami byli jego – James Fergusson – oraz jego teść, lord Glasgow. Tradycję kontynuował później również syn sir Charlesa, Bernard Fergusson, który pełnił funkcję gubernatora generalnego w latach 1962–1967.
Po powrocie do kraju, w 1937 otrzymał honorową głównie funkcję lorda namiestnika hrabstwa Ayrshire w Szkocji. Sprawował ją aż do swej śmierci w 1951.