2 stycznia1882 papież Leon XIII erygował misję sui iuris Południowego Szantungu. Dotychczas wierni z tych terenów należeli do wikariatu apostolskiego Szantungu (obecnie archidiecezja Jinan). 22 grudnia1885 podniesioną ją do rangi wikariatu apostolskiego. 3 grudnia 1924 zmieniono nazwę na wikariat apostolski Yanzhou. W miarę rozwoju misji odłączono od niego:
11 lutego 1925 - prefekturę apostolską Qingdao (obecnie diecezja Qingdao)
13 grudnia 1933 - prefekturę apostolską Yanggu (obecnie diecezja Yanggu)
12 listopada 1934 - wikariat apostolski Caozhou (obecnie diecezja Caozhou).
W wyniku reorganizacji chińskich struktur kościelnych dokonanych przez Piusa XII11 kwietnia1946 wikariat apostolski Yanzhou został podniesiony do rangi diecezji.
Z 1950 pochodzą ostatnie pełne, oficjalne kościelne statystyki. Diecezja Yanzhou liczyła wtedy:
60 000 wiernych (1,5% społeczeństwa)
39 kapłanów (9 diecezjalnych i 30 zakonnych)
24 sióstr i 8 braci zakonnych.
Od zwycięstwa komunistów w chińskiej wojnie domowej w 1949 diecezja, podobnie jak cały prześladowany Kościół katolicki w Chinach, nie może normalnie działać. Bp Theodore SchuSVD oraz inni zagraniczni misjonarze zostali wydaleni z kraju[1][2]. W 1960 lub 1961 Patriotyczne Stowarzyszenie Katolików Chińskich mianowało swojego ordynariusza w Yanzhou, mimo iż bp Schu nie zrzekł się tego biskuptwa. Rządowy biskup Nicholas Shi Lingge przyjął sakrę bez zgody papieża zaciągając na siebie ekskomunikę latae sententiae[3]. Pójście na współpracę z komunistami nie uchroniło bp Shi Lingge przed śmiercią w czasie rewolucji kulturalnej[2].
Kolejnym biskupem został Thomas Zhao Fengwu SVD w 1993. Ksiądz od 1945. Lata 1958 - 1980 spędził on w obozach pracy przymusowej, a następnie wrócił do posługi duszpasterskiej. Był uznawany za legalnego biskupa zarówno przez Stolicę Apostolską jak i rząd w Pekinie. Znany był z tego, że samemu objeżdżał swoją diecezję motocyklem. Zmarł podczas jednej z takich podróży w 2005[1][4][5].
Obecny biskup, wyświęcony w 2011 John Lü Peisen, również ma uznanie Watykanu i Pekinu[6].