Był synem wietnamskiej nauczycielki Pham Thi Khang i Raymonda Vergèsa francuskiego lekarza i polityka. Jego bratem bliźniakiem był polityk Paul Vergès.
Jego żoną od 1963 roku była algierska działaczka niepodległościowa Dżamila Buhired, której wcześniej bronił w procesie o podkładanie bomb podczas wojny o niepodległość Algierii[4]. Miał troje dzieci.