29 lutego 1956 Stolica Apostolska podniosła wikariat apostolski Gujany Francuskiej–Kajenny do rangi diecezji. Tym samym bp Marie został biskupem Kajenny. Jako ojciec soborowy wziął udział w trzeciej i czwartej sesji soboru watykańskiego II. 1 marca 1973 zrezygnował z kierowania diecezją. Zmarł we Francji 8 listopada 1974.