10 listopada 1959 wikariat apostolski Kabgayi podniesiono do rangi archidiecezji. Perraudin został wówczas arcybiskupem Kabgayi i stanął na czele metropolii obejmującej całą Rwandę. Był nim do 10 kwietnia 1976, gdy stolicę metropolii przeniesiono do Kigali, a nowym metropolitą został Rwandyjczyk. Abp Perraudin pozostał wówczas ordynariuszem, teraz już diecezji Kabgayi, zachowując ad personam tytuł arcybiskupa.
Jako ojciec soborowy wziął udział w soborze watykańskim II. 7 października 1989 wraz z osiągnięciem wieku emerytalnego, przeszedł na emeryturę, którą spędził w Szwajcarii.
List pasterski z 1959
11 lutego 1959 bp Perraudin napisał głośny list pasterski w sprawie podziałów etnicznych w Rwandzie. Pisał w nim m.in.:
Wszystkie rasy są jednakowo godne szacunku i miłości przed Bogiem. [...] Chrześcijanie, bez względu na rasę, są między sobą więcej niż braćmi: uczestniczą w tym samym życiu w Chrystusie Jezusie i mają tego samego Ojca, który jest w niebie. Ten, który w
mówiąc Ojcze nasz, wykluczyłby ze swego serca człowieka innej rasy niż jego własna, tak naprawdę nie wzywałby Ojca, który jest w niebie, i nie zostałby wysłuchany. Nie ma jednego Kościoła ze względu na rasę, jest tylko Kościół katolicki, w którym, jak mówi apostoł Paweł Nie ma Żyda ani Greka, nie ma niewolnika ani wolnego, nie ma mężczyzny ani kobiety; wszyscy bowiem jedno jesteście w Chrystusie Jezusie. (Gal. 3.28)
Stwierdził również, że podziały etniczne w Rwandzie przekładają się na nierówności społeczne, gdyż bogactwo oraz władza polityczna, a nawet sądownicza jest w rękach jednej grupy etnicznej. Wezwał do nieoceniania przeszłości, tylko zmiany standardów organizacji społeczeństwa Rwandy, tak aby wszystkie grupy etniczne i społeczne miały te same prawa i te same możliwości oraz udział w sprawach publicznych. W tekście pojawia się także stwierdzenie, że moralność chrześcijańska wymaga, aby funkcje publiczne powierzano ludziom zdolnym i kompetentnym, natomiast przywileje, faworyzowanie i protekcjonizm albo dla jednostek, albo dla grup społecznych, nie byłoby zgodne z moralnością chrześcijańską. Jednocześnie podkreślił, że proponowanie konkretnych praw nie jest w kompetencjach Kościoła, tylko polityków[1].