W kwietniu 1355 poślubił Marię Neapolitańską (1328–1366), córkę Karola, księcia Kalabrii, i Marii de Valois. Dzięki temu małżeństwu stał się szwagrem królowej Neapolu – Joanny I. W 1364 zmarł bezdzietnie najstarszy brat Filipa – Robert z Tarentu i Filip odziedziczył po nim tytuł tytularnego cesarza Konstantynopola, księcia Achai i Tarentu, króla Albanii. W 1366 zmarła żona Filipa, Maria.
20 października1370 Filip ożenił się po raz drugi, z Elżbietą Slawońską (1352–1380), córką Stefana Węgierskiego, księcia Siedmiogrodu, Slawonii, Chorwacji i Dalmacji, i Małgorzaty Bawarskiej. W 1373 Filip zrzekł się swoich praw księstwa Achai na rzecz królowej Joanny I. Zmarł w Tarencie, 25 listopada 1374, bezdzietnie, bo wszystkie jego dzieci zmarły w dzieciństwie. Jego następcą został jego siostrzeniec – Jakub de Baux, książę Andrii, syn starszej siostry Filipa, Małgorzaty.
Potomstwo
Z pierwszego małżeństwa z Marią Neapolitańską miał pięcioro dzieci:
Filipa III (1356 – zmarłego młodo), księcia Tarentu,