Tijdens zijn grand tour leerde hij in 1761Christina, de oudste dochter van hertog Karel van Mecklenburg-Strelitz, kennen en werd verliefd op haar. Gezien hun sociale status zou dit een prima huwelijk geweest zijn. Kort daarna echter werd haar jongere zuster Sofia Charlotte verloofd met koning George III. Volgens de etiquette van die tijd was het voor een oudere zuster ongepast om te huwen met iemand van een lagere adellijke rang dan de jongere zus. Uiteindelijk bleven beiden ongehuwd en stierven kinderloos.
Wellicht door af te zien van een huwelijk werd Ker door George III beloond met hoge posities aan het hof. In 1767 werd hij Lord of the Bedchamber en het jaar daarop werd hij benoemd tot ridder in de Orde van de Distel. In 1796 werd hij tot Groom of the Stole en Privy Counselor benoemd. In 1801 werd hij ridder in de Orde van de Kouseband geslagen.
Bibliotheek
Ker verzamelde gedurende zijn leven een behoorlijke bibliotheek, vooral werken van Shakespeare of werken waarin zijn naam genoemd wordt. Bij zijn dood in 1804 telde de bibliotheek ongeveer 10.000 boeken en pamfletten.
Erfenis
In 1812 werd de bibliotheek geveild en leidde tot de oprichting van de Rocburghe Club.