Филип Франц става през 1757 г. каноник в катедралата на Шпйер. През 1767 г. е катедрален декан и е издигнат на имперски граф, на 6 февруари 1773 г. дякон в Трир и на 17 май 1777 г. свещеник в Трир. На 22 април 1797 г. той е избран за епископ на Шпайер. Помазан е на 18 декември 1797 г. като епископ и започва да служи на 19 януари 1800 г.
През 1799 г. идват първите французи и той трябва да бяга през началото на 1801 г., връща се обратно на 10 юни 1801 г.
Умира на 21 април 1810 г. на 71 години. Погребан е на 26 април 1810 г. като последен княз-епископ в гробницата на „Св. Петър“ в Брухзал. Цялата гробница след един ден е затворена и е открита отново едва през 1907 г. при реновиране.
При Трир той си построява през 1779 – 1783 г. лятна резиденция. Той също е масон и илюминат.
Литература
Hans Ammerich: Das Bistum Speyer und seine Geschichte, Band 3: Von der Reformationszeit bis zum Ende des alten Bistums; Kehl am Rhein 1999; ISBN 3-927095-49-4; S. 30 – 31.
Franz Xaver Remling: Geschichte der Bischöfe zu Speyer, Band 2, S. 804 – 830, Verlag Kirchheim, Mainz, 1854; (Digitalscan)
Die von Walderdorff Köln, 1998, Jürgensmeier, Friedhelm.