Élu évêque de Lisieux le , il prend ses fonctions le .
Anne de Pérusse est créé cardinal le par Clément VIII. Il prend le nom de sa mère, devenant le « cardinal de Givry »[1] comme son grand-oncle Claude de Longwy. Il écartèle alors ses armes avec le blason maternel.
Son ralliement à Henri IV ne se fait pas si aisément. Il croit devoir se réfugier à Rome pour se soustraire au ressentiment du roi. En , en visite à Paris, le Légat du Pape, cardinal de Florence, intervient en sa faveur. La réponse royale n'est pas des plus paisibles :
Le Roi me répondit que le cardinal de Givry était un porte étendard de la Ligue et qu'il s'était arrangé pour être fait cardinal non par son entremise mais par celle du duc de Mayenne, et de Joyeuse ; aussi lui semblait-il pénible de lui pardonner. Je répondis que ce personnage n'avait pas brigué le cardinalat et qu'il ne s'y attendait point. Le secrétaire qui nous servait d'interprète M. de Fresnes, et à qui j'en avais d'abord parlé, vint à mon aide et apaisa le Roi. Celui-ci, après que je lui eus dit tout ce que je savais, finit par déclarer que, pour l'amour de Notre-Seigneur, il ferait tout, mais que ce n'était pas le lieu de traiter pareille question.
Il abandonne la direction de l'évêché de Lisieux vers 1598.
Anne cherche à prouver sa fidélité au roi, qui peut compter sur sa docilité. Or, Henri IV souhaite confier l'évêché de Metz, tenu depuis 1484 par la Maison de Lorraine, à son bâtard Henri de Bourbon-Verneuil. Cela est refusé par le pape, l'enfant n'étant âgé que de sept ans[3]. Le cardinal de Givry est donc choisi à sa place en attendant sa majorité[4], et nommé évêque de Metz le par le pape Paul V.
« Vigilant défenseur des intérêts catholiques », il est membre de plusieurs congrégations romaines, et s'attire « la vénération publique par le prestige d'une grande piété »[1]. Il soutient notamment l'Ordre de la Visitation en ses débuts.
Raymond Ritter, Lettres du Cardinal de Florence sur Henri IV et sur la France 1596-1598 (Documents inédits tirés des Archives Vaticanes), Bernard Grasset éditeur, Paris, 1955.
