Alors qu'il essaye de rétablir l'autorité papale sur la province de Ferrare prise par l'armée française en l'absence du légat Francesco Maria Pignatelli, il est emprisonné par Napoléon Bonaparte en . Il est libéré en octobre 1796 alors que la province est rattachée à la République cispadane. Napoléon Bonaparte lui demande de négocier la paix avec Rome, mais il n'est pas écouté par le secrétaire d'État, le cardinal Ignazio Busca. L'armée française envahie alors Rome en . Il est choisi par le pape Pie VI pour négocier le traité de Tolentino imposé par la république française, et que d'aucuns surnomment le "Brigandage de Tolentino"[1] ).
En 1810, le cardinal Mattei est exilé de Rome par ordre de Napoléon Ier, d'abord à Bologne puis à Paris. En 1810, il est parmi les treize cardinaux qui refusent de participer à la cérémonie du mariage entre Napoléon et Marie-Louise d'Autriche, et qui sont, à cause de cela, poursuivis par le régime napoléonien et forcés d'abandonner leur habit cardinalice rouge et de porter une soutane noire (raison pour laquelle ils furent appelés les cardinaux noirs). Il est ensuite déporté dans les Ardennes et y est assigné à résidence jusqu'au "concordat de Fontainebleau" en , obtenu par pression sur le pape Pie VII qui s'y trouve prisonnier. Le cardinal Mattei peut alors rejoindre le pape à Fontainebleau, avec les autres "cardinaux noirs" dispersés jusque-là sur le territoire français. Mais le pape désavoue, casse et annule bientôt le supposé "concordat" et le fait savoir à Napoléon ; ne pouvant plus y réagir par de nouvelles coercitions sous les yeux de l'Europe liguée contre lui, le régime impérial étant de plus en plus aux abois après les désastres de la retraite de Russie, celui-ci se limite à arracher de nouveau les cardinaux d'auprès du pape et à les exiler à nouveau, les accusant d'avoir conseillé au pape de casser le supposé "concordat". C'est ainsi que le cardinal Mattei, pour sa part, se voit de nouveau déporté et assigné à résidence, en , cette fois à Alais.
Libéré dès le , au lendemain de la chute de l'empire napoléonien, le cardinal Mattei rejoint rapidement le pape Pie VII, à son tour libéré de Fontainebleau, et l'accompagne tout au long de son retour triomphal à Rome en avril-, les populations des villes et des campagnes se précipitant partout à ses devants sur les routes de France et d'Italie.
Il meurt le , âgé de 76 ans, après un cardinalat de 40 ans et 283 jours (de à ). Son tombeau est dans la basilique Santa Maria in Aracoeli sur la colline du Capitole, à Rome.
.jpg)
.svg){kind=small}
.svg){kind=small}
