Pařížská církevní provincie byla vytvořena roku 1622, když bylo pařížské biskupství povýšeno na arcibiskupství, původně sufragánní v církevní provincii Sens. Nová provincie tak vznikla rozdělením původní provincie v Sens, z níž byly vyděleny vedle Paříže také biskupství v Chartres, Meaux a Orléans. V roce 1697 byla do pařížské provincie zahrnuta pátá diecéze bloiská.
Reforma z roku 1822 snížila rozlohu provincie vytvořením církevní provincie v Remeši, takže se provincie nově skládala z diecézí bloiské, chartreské, meauxské, orleánské, pařížské a versailleské.
Následkem reformy pařížského regionu v roce 1964 bylo v roce 1966 rozhodnuto sjednotit hranice provincie s pařížským regionem: provincie si ponechala svou dosavadní rozlohu, ale biskupství vznikla v každém nově zřízeném departementu.
V roce 2002 proběhla reforma katolických okrsků a pařížská provincie tím získala dnešní rozlohu odpovídající regionu Île-de-France.