En 1995, il remplace Laurie Mains en tant qu'entraîneur des All-Blacks. Sous sa direction, de 1995 à 1999, les All-Blacks disputent 42 matchs, en gagnent 32, font un match nul et en perdent 9[2]. Pendant cette période, ils prennent le dessus sur les Springboks en 1996 et remportent trois fois le Tri-nations[2]. Le bilan de 1997 est particulièrement brillant avec 17 test matchs sans défaite. John Hart démissionne en 1999 après la défaite des All-Blacks contre la France en demi-finale de la Coupe du monde 1999[2].
