Nikolaï Gerhard étudie le droit à Saint-Pétersbourg et travaille à partir de 1861 au ministère de l'Intérieur, et à partir de 1866 au ministère de la Justice. Il est haut-procureur du quatrième département du sénat en 1874 et sénateur en 1876. Il y dirige la commission chargée des questions de géodésie et il est nommé au conseil d'État en 1898 où il s'occupe de questions de droit, puis il dirige la commission des affaires civiles et religieuses. Il est considéré à l'époque comme l'un des juristes les plus éminents de l'empire. Il est élevé au rang de conseiller secret.
Le manifeste de novembre de Nicolas II, à l'instigation de Gerhard, tente d'effacer les conséquences catastrophiques du manifeste de février, prononcé six ans plus tôt. Le nouveau gouverneur général doit ramener le calme. Il décide de collaborer plus étroitement avec le sénat de Finlande et la nouvelle diète appelée en 1906. Le suffrage universel qui existe en Finlande, concerne alors non seulement les hommes, mais aussi les femmes depuis , ce qui est une première en Europe. Les nouvelles réformes sont appuyées par Gerhard. Elles concernent la liberté de réunion, la liberté de la presse, ainsi que le domaine social. Elles effacent les désastreuses mesures du général Bobrikov.
Le visées libérales de Gerhard ne plaisent pas à la douma impériale et Gerhard doit démissionner le . Le général Wladimir von Boeckmann lui succède.
Il fuit les bolchéviques pendant la Révolution d'Octobre et se réfugie avec sa femme en Finlande nouvellement indépendante, où il est bien accueilli et meurt dans une maison de repos de Carélie du Sud (aujourd'hui en Russie), en 1929.