Den 9. september 1935 ble han biskop av Luxembourg.
Under hans embedstid ble katedralen i Luxembourg utvidet i perioden 1935 til 1938.
To år etter ble landet okkupert og annektert av Det tredje rike. Storherttugen og regjeringen tok tilflukt i London og forsøkte å organiserer motstandsarbeidet derfra.
Personlig konfronterte ikke biskop Philippe de tyske okkupanter, for ikke å sette på spill kirkens religiøse liv og sosiale virke, som allerede var blitt innskrenket ved den tyske innmarsjen.[2] Men han unngikk enhver kontakt med de tyske myndigheter, og foretok forberedelser for den eventualitet at kirken skulle bli uten ham som leder.[2] Kirken ble mer og mer presset ut av offentligheten av de tyske myndigheter; kristne organisasjoner ble oppløst, religiøs undervisning og katolske skoler ble forbudt, og ordenssamfunnene ble fratatt sine eiendommer.[2] Bispedømmeorganisasjonen ble på den annen side den eneste intakte luxemburgske institusjonen under krigen.[2]
En tredel av bispedømmets kirker og kapeller ble ødelagt under Andre verdenskrig, særlig i månedene ved årsskiftet 1944/1945.
Etter Luxembourgs frigjøring tok biskop Philippe fatt på arbeide med å gjenoppbygge de katolske institusjoner.[2]
Fra 14. mai 1949 hadde han en koadjutorbiskop, Léon Lommel, ved sin side.
P. Robert Quardt (SCJ), "Für eure Seelen" - Leben und Werk des Bischofs Joseph Philippe von Luxemburg; Kanisius Verlag, CH - Freiburg, D - Konstanz/Baden an D - München, 1958; 236 S. (ill.).
Lenertz, M., Muller, J-Cl., 1991, Les Évêques/Archevêques de Luxembourg, Lignes agnatiques, jalons biographiques et armoiries. Annuaire - A.L.G.H.
