Avant 1768, cette responsabilité incombait au secrétaire d'État au département du Sud, chargé de l'administration du Sud de l'Angleterre, du Pays de Galles, de l'Irlande, des colonies américaines et des relations avec les États catholiques et islamiques. De 1782 à 1854, les colonies ont été administrées au sein du bureau de l'Intérieur puis du bureau de la Guerre.
En 1794, un nouveau poste fut créé pour Henry Dundas — le secrétaire d'État à la Guerre — qui prit alors la responsabilité des affaires coloniales. Son poste fut conséquemment renommé, en 1801, « secrétaire d'État à la Guerre et aux Colonies ».
Secrétaires d'État aux Colonies de 1854 à 1903
En 1854, des réformes militaires menèrent à la séparation définitive des responsabilités militaires et coloniales et deux postes furent ainsi créés. Sir George Grey, 2e baronnet devint le premier Secrétaire d'État aux colonies de ce nouvel arrangement ministériel.