Am 11. Juni 1874 heiratete er Lady Anne Emily Spencer-Churchill (1854–1923), eine Tochter des John Spencer-Churchill, 7. Duke of Marlborough. Mit ihr hatte er drei Söhne und vier Töchter:
Lady Margaret Frances Susan Innes-Ker (1875–1930) ⚭ 1898 James Alexander Orr Ewing (1857–1900);
Lady Victoria Alexandrina Innes-Ker (1877–1970) ⚭ 1901 Charles Hyde Villiers (1862–1947);
Lady Isabel Innes-Ker (1879–1905) ⚭ 1904 Hon. Guy Greville Wilson (1877–1943), Sohn des Charles Wilson, 1. Baron Nunburnholme;
Lord Alastair Robert Innes-Ker (1880–1936) ⚭ 1907 Anne Breese († 1959);
Lady Evelyn Anne Innes-Ker (1882–1958) ⚭ 1907 William Fellowes Collins (1865–1948);
Lord Robert Edward Innes-Ker (1885–1958), ⚭ (1) 1920–1935 Charlotte Josephine Cooney, alias Jose Collins (1887–1958), Schauspielerin, ⚭ (2) 1939 Eleanor Marie Woodhead (1887–1958).
Als er 1892 starb, erbte sein ältester Sohn Henry seine Adelstitel.