El primer gabinet Balkenende va caure només 87 dies en el seu mandat. Per a les eleccions de 2003, Balkenende va tornar a exercir com a Lijsttrekker i després d'una formació de gabinet amb el Partit Popular per la Llibertat i la Democràcia (VVD) i Demòcrates 66 (D66) van formar el segon Gabinet, continuant com a primer ministre.[6] Aquest segon gabinet va caure el 30 de juny de 2006 i va ser substituït per un gabinet provisional de Balkenende el 7 de juliol de 2006.[7]
Per a les eleccions de 2006, Balkenende va tornar a servir com a Lijsttrekker, i va arribar a un acord amb el líder del Partit del Treball (PvdA) Wouter Bos per formar un acord de coalició amb la Unió Cristiana.[8] El quart govern Balkenende va tornar a ser liderat per ell com a primer ministre durant un altre mandat. Aquest quart gabinet va caure exactament als 3 anys de mandat, quan el PvdA es va retirar de coalició de govern per la contribució dels soldats holandesos a la guerra de l'Afganistan.[9] A les eleccions de 2010, Balkenende va tornar a exercir com a Lijsttrekker, però va patir una gran derrota i va anunciar la seva retirada, deixant el càrrec el 9 de juny de 2010.[10] Balkenende va deixar el càrrec després de la constitució del govern Mark Rutte el 14 d'octubre de 2010.[11]
Després de la retirada política
Balkenende es va retirar de la política activa als 54 anys i va esdevenir actiu al sector privat com a director corporatiu i com a professor de Governació, Institucions i Internacionalització a la Universitat Erasme de Rotterdam a partir del desembre de 2010.[12] Durant el seu mandat de primer ministre, els seus gabinets van ser responsables de diverses reformes del sistema educatiu, lleis d'immigració i reducció del dèficit després de la crisi financera del 2008. Ha estat el quart primer ministre que ha tingut una mes llarga activitat després de la Segona Guerra Mundial i el seu càrrec és valorat constantment tant pels estudiosos com pel públic com a superior a la mitjana. Balkenende va rebre el títol honorífic de ministre d'Estat el 14 d'octubre de 2022, exactament dotze anys després de deixar el càrrec.[13]