El vicariat apostòlic del Japó va ser erigit el 27 de març de 1846, mitjançant el breu apostòlicEx debito del PapaGregori XVI, prenent el territori del vicariat apostòlic de Corea (avui arxidiòcesi de Seül). S'estenia sobre tot el Japó. L'erecció del vicariat apostòlic seguia la temptativa d'establir una diòcesi al Japó després de la de Funay, erigida el 1588 i suprimida de facto a mitjan segle xvii a causa de la persecució dels cristians al Japó.
El 22 de maig de 1876 cedí part del seu territori per tal que s'erigís el vicariat apostòlic del Japó Meridional (avui arxidiòcesi de Nagasaki) i, contextualment, assumí el nom de Vicariat apostòlic del Japó septentrional.
El 17 d'abril de 1891, en virtut de la butllaEx officio del Papa Lleó XIII,[1] cedí de nou part del seu territori per tal que es formés el vicariat apostòlic de Hakodate (avui bisbat de Sendai), i assumí el nom de vicariat apostòlic de Tòquio.
El 15 de juny del mateix any, el vicariat apostòlic va ser elevat al rang d'arxidiòcesimetropolitana amb el breu Non maius Nobis del Papa Lleó XIII.