Ballance syntyi Pohjois-Irlannissa ja muutti vuonna 1866 vaimonsa kanssa Uuteen-Seelantiin. Hän asettui Wanganuihin, jossa hän ryhtyi toimittajaksi. Hänen vaimonsa kuoli vuonna 1868. Kahden vuoden kuluttua hän meni uusiin naimisiin Ellen Andersonin kanssa.
Ballance pääsi parlamenttiin vuonna 1875. Hän nousi Uuden-Seelannin pääministeriksi 24. tammikuuta 1891. Kun hän kuoli vuonna 1893, hänen seuraajakseen valittiin Richard Seddon.