Most se nachází na současném místě nebo poblíž více než 2000 let. První most přes Temži v oblasti Londýna postavili Římané asi v roce 46 našeho letopočtu a byl dřevěný. Místo bylo vybráno tak, aby bylo možno překlenout řeku, ale ještě v místě, kde byla řeka dostatečně hluboká pro plavbu lodí z moře. Poté, co Římané opustili Anglii, byl most pravděpodobně několikrát opravován. Roku 1013 byl most spálen na příkaz králeEthelreda II., který tak chtěl rozdělit útočící dánské vojsko Sveina Haraldsona. Obnovený most byl zničen bouří v roce 1091 a roku 1136 požárem.
Peter de Colechurch, správce mostu, slíbil po jeho zničení požárem roku 1136 nahradit původní dřevěný most mostem kamenným. Pro jeho výstavbu byla vypsána speciální nová daň. Stavba byla zahájena roku 1176 za vlády Jindřicha II. pod vedením Colechurche. Stavba trvala 33 let a byla dokončena roku 1209, čtyři roky po Colechurchově smrti, za vlády Jana Bezzemka.
Král Jan povolil na mostu postavit domy a tak se zde objevily obytné domy, obchody a ve středu mostu dokonce i kaple. Na obrazech z té doby je možno vidět most přeplněný až sedmipatrovými stavbami. Počet obyvatel na mostu byl tak velký, že až do 18. století náleželi do zvláštní čtvrti City.
Konstrukce středověkého mostu byla tvořena 19 malými oblouky a padacím mostem s bránou na každém konci. Malý prostor v obloucích působil jako přehrada na Temži a zadržoval asi 80 % průtoku, což zvyšovalo pravděpodobnost zamrzání řeky v zimním období. Navíc ve dvou severních obloucích byla instalována vodní kola pro pohon vodních pump a pod dvěma jižními pro pohon obilních mlýnů.
Severní brána mostu byla v roce 1577 nahrazena stavbou Nonesuch House. Na jižní bráně bylo možno vidět hlavy popravených vězňů napíchnutých na kopí. Tuto tradici ukončil až roku 1660 král Karel II.
Budovy na mostě zvyšovaly riziko požáru a zátěž mostních pilířů. V letech 1212 a 1213 požáry zničily stavby na obou koncích mostu a způsobily smrt asi 3 000 lidí. Další velký požár roku 1633 zničil asi jednu třetinu severní části mostu, i když tato událost možná uchránila budovy na mostu před Velkým požárem Londýna. Okolo roku 1722 byl provoz na mostu tak velký, že starosta City vydal nařízení tohoto znění - Veškeré povozy, kočáry a jiná vozidla vyjíždějící ze Southwarku do City musí jet po západní straně mostu a vozidla vyjíždějící z City musí jet po východní straně mostu. Toto nařízení je pravděpodobně základem levostranného provozu ve Velké Británii. V období let 1758 až 1762 byly domy z mostu i dva střední oblouky zbořeny. Dva střední oblouky byly nahrazeny jedním širším, aby byly vylepšeny podmínky pro lodní dopravu.
Nový most
Na konci 18. století bylo zřejmé, že 600 let starý most musí být nahrazen novým. Původní most byl úzký, vetchý a nebezpečný pro říční dopravu. Roku 1799 se konalo výběrové řízení, ve kterém vzbudil velkou pozornost návrh Thomase Telforda – návrh na stavbu mostu s jedním, asi 180 m dlouhým obloukem. Revolučnost návrhu upoutala pozornost, ale pro nejistotu o proveditelnosti stavby a velkém nároku na odkup potřebných pozemků tento plán nebyl realizován.
Most byl nahrazen elegantní stavbou s pěti kamennými oblouky, navrženou Johnem Renniem. Nový most byl postaven 30 m na západ od původního stanoviště a náklady na jeho výstavbu dosáhly 2 miliónů liber. Stavba byla zahájena roku 1824 a dokončena roku 1831. Starý most byl v době výstavby nového mostu dále používán.
Materiálem použitým na stavbu byl dartmoorský kámen, délka mostu byla 283 m a jeho šířka 15 m. Slavnostní otevření mostu se konalo 1. srpna1831 za účasti krále Viléma IV. a jeho manželky Adelaide.
V letech 1902 až 1904 byl z důvodu nárůstu dopravy most rozšířen z původních 15 m na 20 m. Ukázalo se ale, že zvýšenou zátěž nejsou schopny unést základy mostních pilířů. Bylo zjištěno, že se most každých 8 let zaboří asi o 2,5 centimetrů. V roce 1924 byla východní strana mostu asi o 8 cm níže, než jeho západní strana. Bylo zřejmé, že most musí být nahrazen novou konstrukcí.
18. dubna1968 byl most prodán Američanovi Robertu P. McCullochovi za téměř 2,5 miliónů dolarů. Most byl rozebrán a znovu postaven u Lake Havasu City v Arizoně. Na jeho stavbu byla použita jen část kamenů z London Bridge. Zbylá část byla odvezena do lomu v Dartmooru.
Moderní most
Rekonstruovaný Nový most u Lake Havasu City v Arizoně
Současný most byl postaven Johnem Mowlemem v letech 1967 až 1972 a slavnostně otevřen královnou Alžbětou II.17. března1973. Jedná se o nevýraznou stavbu dlouhou 283 m tvořenou třemi oblouky z předpjatého betonu, jež byly částečně financovány z prodeje předchozího mostu. Celkové náklady na výstavbu dosáhly 4 milióny liber a byly hrazeny Bridge House Estates. Současná konstrukce byla postavena na stejném místě, kde stál původní Rennieho most.
Roku 1984 narazila do London Bridge válečná loď HMS Jupiter. Výsledkem bylo vážné poškození lodi i mostu.
Na oslavu Dne válečných vysloužilců roku 2004 byly londýnské mosty, jako součást večerního přeletu válečných letadel nad Temží, vyzdobeny červenými světly. Vzhledem k tomu, že toto osvětlení oživilo jinak nevýrazný vzhled London Bridge, byla světla na mostě, na rozdíl od ostatních mostů, ponechána pro jeho noční osvětlení.
Dne 3. června 2017 se zde odehrál první ze série dvou teroristických útoků, při nichž zemřelo 7 lidí (stav z 4. června 2017).
