Von 1866 bis 1870 war er Gouverneur von Trinidad. Zu den Leistungen seiner vierjährigen Amtszeit gehört eine Landreform, die der Bevölkerung vorheriges Krongut zugänglich machte, dadurch die zuvor üblichen illegalen Landbesetzungen durch Arbeiter beendete und es erstmals ehemaligen Sklaven ermöglichte, Grund zu erwerben. Er führte außerdem eine Bildungsreform durch und beteiligte gezielt Katholiken an Regierung und Verwaltung, um die Dominanz der Anglikanischen Kirche abzumildern. In Port of Spain sind zwei Straßen nach Gordon benannt.[1]
Am 21. August 1893 wurde er als Baron Stanmore, of Great Stanmore in the County of Middlesex, zum erblichen Peer erhoben und wurde dadurch Mitglied des House of Lords. Der Titel ging bei seinem Tod, 1912, auf seinen Sohn George über.
Ehe und Nachkommen
1865 hatte er Rachel Emily Shaw-Lefevre († 1889), Tochter des Juristen und Politikers Sir John George Shaw-Lefevre, geheiratet. Mit ihr hatte er zwei Kinder:
Ralph Abercromby (1797) |Thomas Picton (1797–1804) |William Fullarton (1803–1804) |Samuel Hood (1803–1804) |Thomas Hislop (1804–1811) |Hector William Munro (1811–1813) |Ralph Woodford (1813–1828) | Henry Capadose (1828) | Charles Felix Smith (1828–1829) | Lewis Grant (1829–1833) | George Fitzgerald Hill (1833–1839) | John Alexander Mein (1839–1840) |Henry George Macleod (1840–1846) |George Harris (1846–1854) | Legendre Charles Bourchier (1854) |Charles Elliot (1854–1856) | B. Brooks (1856–1857) | Robert William Keate (1857–1864) | Thompson (1864) |John Manners-Sutton (1864–1866) | Edward Everard Rushworth (1866) |Arthur Hamilton-Gordon (1866–1870) | James Robert Longden (1870–1874) |William Cairns (1874) | John Scott Bushe (1874) | Henry Turner Irving (1874–1876) | John Scott Bushe (1876–1877) | George William Des Vœux (1877–1878) | Henry Turner Irving (1878–1880) | William Rowland Pyne (1880) | William A.G. Young (1880) | Sanford Freeling (1880–1884) | John Scott Bushe (1884) | Frederick Barlee (1884) | John Scott Bushe (1884) |Arthur Havelock (1884–1885) | David Wilson (1885) | William Robinson (1885–1889)