Во второй половине XVI века Монтобан, несмотря на активное сопротивление местных католических епископов, перешёл в руки кальвинистов. В 1561 году в Монтобане были запрещены католические богослужения и началось уничтожение католических церквей. В 1567 году был разрушен собор Монтобана. В результате действий кальвинистов Монтобан стал одним из четырёх главных центров французского кальвинизма. В 1600 году светскими властями было разрешено ограниченное проведение католических богослужений. В 1629 году католики восстановили свой контроль над Монтобаном.
29 ноября1801 года после конкордата с Францией Римский папа Пий VII издал буллу Qui Christi Domini, которой упразднил епархию Монтобана, а её территория была передана архиепархии Тулузы, епархиям Каора и Ажена. 17 февраля1808 года Римский папа Пий VII выпустил буллу Supremo pastorali munere, которой восстановил епархию Монтобана. Однако юридически епархия не была утверждена французскими властями, поэтому на кафедру епархии до 1822 года не назнаяался епископ. 6 октября1822 года Римский папа Пий VII выпустил ещё одну буллу Paternae charitatis, которой назначил епископа Монтобана.