Er heiratete in erster Ehe 1444 in Zandenburg Maria Stuart († 20. März 1465), Countess of Buchan, Tochter des schottischen Königs Jakob I., begraben in Veere. Aus dieser Ehe hatte er einen Sohn, Karl (* 1451, † 13 Jahre alt in Löwen).
In zweiter Ehe heiratete er (Ehevertrag vom 17. Juni 1468) Charlotte de Bourbon (* wohl 1449, † 18. März 1478), Tochter von Ludwig III., Graf von Montpensier. Aus dieser Ehe hatte er fünf Kinder:
Ludwig (* 1470)
Anna (* wohl 1471; † 8. Dezember 1518); ⚭ I Philipp von Burgund († 4. Juli 1498 in Brügge), Herr von Beveren, Gouverneur von Artois, Admiral von Flandern, Ritter des Ordens vom Goldenen Vlies; ⚭ II 1503 Ludwig von Montfort, Herr von Veere († 10. November 1505)
Raphael de Smedt (Hrsg.): Les chevaliers de l’ordre de la Toison d’or au XVe siècle. Notices bio-bibliographiques. (Kieler Werkstücke, D 3) 2., verbesserte Auflage, Verlag Peter Lang, Frankfurt 2000, ISBN 3-631-36017-7, S. 192–194, Nr. 79.