6 października1915 r. Agnes Bilsland (5 czerwca1896 - 29 grudnia1970), córkę sir Williama Bilslanda, 1. baroneta, i Agnes Steven, córki Alexandra Stevena. John i Agnes mieli razem syna i dwie córki:
Rosemary Anne Heather Colville (ur. 27 września1927), żona Philipa Whitcombe'a, ma dzieci
W 1922 r. bez powodzenia startował w wyborach parlamentarnych w okręgu Motherwell. Mandat parlamentarny uzyskał dopiero w 1929 r. po wyborach w okręgu Midlothian and Peebles Northern. W 1931 r. został parlamentarnym sekretarzem w departamencie handlu zamorskiego. W latach 1935–1936 był podsekretarzem stanu w Ministerstwie ds. Szkocji. Następnie objął stanowisko finansowego sekretarza skarbu. W latach 1938–1940 był ministrem ds. Szkocji.
Colville zrezygnował z miejsca w Izbie Gmin w 1943 r. by objąć stanowisko gubernatora Bombaju. Urząd ten sprawował do 1947 r. W tym czasie kilkakrotnie pełnił obowiązki wicekróla Indii. Po powrocie do Wielkiej Brytanii otrzymał tytuł 1. barona Clydesmuir i zasiadł w Izbie Lordów. W 1952 r. został Lordem Namiestnikiem Lanarkshire.
Zmarł w 1954 r. Tytuł barona odziedziczył jego jedyny syn.