Die Anfänge der Diözese London gehen bis in die römische Zeit zurück: Das römische Londinium war vermutlich seit Beginn der Spätantike Sitz eines Bischofs. Der mittelalterliche Chronist Jocelyn von Furness nennt eine Reihe von Erzbischöfen von London, beginnend mit Thean, die jedoch von Historikern als größtenteils legendär eingestuft werden. Nur ein einziger Bischof der Liste, Restitutus, ist durch seine Teilnahme am Konzil von Arles 314 historisch belegt. Durch die Völkerwanderung ging das Erzbistum London unter und wurde 604 durch Augustinus von Canterbury, der Mellitus zum Bischof von London ernannte, neu gegründet. Zu diesem Zeitpunkt wurde auch die erste St Paul’s Cathedral errichtet, anfangs noch aus Holz. Das von Papst Gregor I. unterstützte Vorhaben, London zum Sitz des Erzbischofs zu machen, setzte sich allerdings nicht durch. Nach dem Tode von Mellitus wurde das Bischofsamt von Angelsachsen besetzt, 1044 wurde mit Robert von Jumièges der erste Normanne zum Bischof ernannt.
Infolge der Reformation, hervorgerufen durch den Konflikt zwischen Heinrich VIII. und dem Papst, wurde das Bistum London anglikanisch. Wie die meisten Geistlichen in England fügten sich auch Bischof Cuthbert Tunstall und sein Nachfolger John Stokesley widerwillig der königlichen Suprematsakte. Unter Maria I. wurde die Diözese kurzzeitig rekatholisiert, der Anglikaner Nicholas Ridley auf dem Scheiterhaufen verbrannt und durch den Katholiken Edmund Bonner, der die Protestanten blutig verfolgen ließ, ersetzt. Seit dem Elisabethanischen Zeitalter gehören sämtliche Bischöfe von London der anglikanischen Kirche von England an. Als Ersatz für die verlorenen Bistümer wurde von der katholischen Kirche ab 1622 das Apostolische Vikariat von England errichtet, aus dem das heutige Erzbistum Westminster hervorging.
Die im Rahmen der britischen Kolonisierung Amerikas erschlossenen Gebiete waren ursprünglich kirchenrechtlich dem Bischof von London unterstellt, nach der Amerikanischen Revolution beschränkte sich dieser Bereich auf die Westindischen Inseln (heute eigenständige Church in the Province of the West Indies). Bis 1980 wurden auch die Gemeinden der Church of England in Nord- und Zentraleuropa von der Diözese London verwaltet (Jurisdiction of North and Central Europe), bis dieser Jurisdiktionsbereich 1980 mit der Diözese Gibraltar zur Diözese in Europa zusammengeschlossen wurde.
Historisch war das Gebiet der Diözese weitaus größer und grenzte im Norden und Westen an Norwich und Lincoln. So gehörte auch Essex zum Bistum, bis es 1846 Teil der Diözese Rochester wurde.
Innerhalb der Diözese gibt es etwa 500 Gemeinden mit ungefähr 1000 Geistlichen und Kirchenmitarbeitern, daneben 149 von der Kirche betriebene Schulen. Die Anzahl der volljährigen Kirchenmitglieder stieg im Bistum von 45.000 im Jahr 1990 auf 70.000 im Jahr 2009.
Das Bistum ist in fünf Episkopalbezirke (episcopal areas) eingeteilt, die von Regionalbischöfen geleitet werden, welche als Suffraganbischöfe dem Bischof von London unterstellt sind. Die Episkopalbezirke wiederum sind in Archidiakonate (archdeaconries) und Dekanate (deaneries) gegliedert. Die Gliederung entspricht dabei oftmals noch den bis 1965 existierenden Metropolitan Boroughs.
Der Bischof von London ist im Rang der dritthöchste Bischof der englischen Kirche nach den Erzbischöfen von Canterbury und York und zählt zu den fünf Bischöfen, die durch ihr Amt automatisch als Geistlicher Lord (Lord Spiritual) einen Sitz im Oberhaus erhalten.
Aufgrund seiner Nähe zur königlichen Familie wird der Bischof von London als King’s bishop bezeichnet. Seit 1748 ist es üblich, dass der britische Monarch ihn zum Dean of the Chapel Royal ernennt, um so die (eigentlich kirchenrechtlich eigenständigen) königlichen Kapellen in London der Zuständigkeit des Bistums zu übertragen.