La maison du Gouvernement changea plusieurs fois de lieu. Au Moyen Âge, le gouverneur résidait au château de Mont-Orgueil. Par la suite, au XVIIIe siècle le gouvernement s'installa dans le manoir de La Motte, mais lors de la bataille de Jersey, les forces françaises capturèrent le gouverneur dans ce manoir.
En , le recteur de l'église Saint-Sauveur, le révérend Philippe Le Breton, a acheté le terrain sur lequel est située l'actuelle maison du Gouvernement. Il y fit construire une maison de famille. Celle-ci a été achetée par l'armateur François Janvrin en qui a démoli la maison familiale et a construit à la place une petite villa de deux étages, nommant cette maison "Belmont". Il a apporté de l'acajou d'Amérique du Sud dans ses navires qui fut utilisé pour garnir l'intérieur de l'édifice y compris l'escalier principal, qui reste une caractéristique notable de la maison. En , le lieutenant-gouverneur a négocié l'échange de l'ancienne résidence du gouverneur à Saint-Hélier et le domaine du Pré au Roi situé dans la paroisse de Saint-Clément contre la propriété Belmont et ses terres attenantes. Depuis, la propriété Belmont est devenue la résidence de tous les lieutenants-gouverneurs de Jersey. Au cours du XIXe siècle fut ajoutée une porte cochère à l'entrée principale de l'édifice. Le domaine fut agrandi avec l'ajout de l'ancienne Ruette du Sacrement, qui conduisait à l'église Saint-Sauveur. Cette voie a été achetée en , et remplacée, en tant que lieu de passage, par la nouvelle route de la colline du Gouverneur (en anglais : St Saviour's Hill et en jersiais : Le Mont du Gouvèrneux).
