Burge est directeur de l'école Repton de 1900 à 1901 [5] puis de Winchester de 1901 à 1911 [6] avant son élévation à l'épiscopat en tant qu'évêque de Southwark en 1911 [7]. C'est une nomination surprise car Burge n'a aucune expérience paroissiale et sa santé est fragile, et le diocèse de Southwark est considéré comme très exigeant pour un évêque diocésain [8].
Pendant la Première Guerre mondiale, Burge souligne l'importance des principes chrétiens qui sous-tendent l'engagement britannique. "La chose pour laquelle l'Angleterre doit se tenir à ses enfants et devant la barre de l'histoire n'est pas simplement la liberté politique et la justice et le gouvernement constitutionnel et la conscience internationale, mais "l'esprit du Christ" informant la vie de son peuple, et donnant politique et les idéaux moraux leur véritable sanction. Pour cette Force dans le monde, nous devons tenir ou ne pas tenir du tout »[9].
Burge est nommé Chevalier Commandeur de l'Ordre royal de Victoria lors de l'anniversaire de 1925, quelques jours avant sa mort en fonction le 11 juin 1925 [12].
