Dal 1990 al 1994 è stato membro del Consiglio comunale di Leida.
Dal 1994 al 2003 ha fatto parte della Tweede Kamer. Dal 1998 al 2003 è stato anche leader del partito Democratici 66.
Dal 27 maggio 2003 al 23 marzo 2005 ha ricoperto l'incarico di ministro delle riforme governative e delle relazioni con il Regno e di viceministro presidente dei Paesi Bassi.
Dal 2007 al 2012 De Graaf è stato sindaco di Nimega.