Unter Papst Leo XIII. wurde am 17. Juni 1890 das Apostolische Vikariat Shanxi in die Apostolischen Vikariate Südshanxi und Nordshanxi aufgeteilt. Unter Papst Pius XI. erfolgte 1924 die Umbenennung des Apostolischen Vikariats Nordshanxi zum Apostolischen Vikariat Taiyüanfu. Durch Papst Pius XII. erfolgte am 11. April 1946 die Erhebung vom Vikariat zum Erzbistum Taiyüan erhoben.
Aufgrund der politischen Verhältnisse konnte das Erzbistum dem Rücktritt von Dominic Luke Capozi 1983, dem einzigen von der römisch-katholischen Kirche anerkannten Erzbischof, bis heute nicht mehr besetzt werden.