Fils du baron Joseph de Günzburg, il devient directeur de la banque Günzburg, fondée par son père à Saint-Pétersbourg, l'une des premières institutions financières de l'Empire russe, et gère entre autres les affaires financières du grand-duc Louis III de Hesse, qui l'anoblit en 1872. Cette banque est la principale gestionnaire des emprunts russes au début des années 1890. Son frère, Salomon David de Günzburg (1848-1905) est également associé à la direction de la banque.
Il épouse Anna Gesselevna Rosenberg, qui meurt en couches le 27 novembre 1876. Le couple avait eu un fils, Mark, mort à Madère en décembre 1878, à l'âge de 17 ans, et sept autres enfants, dont David Günzburg(en).
Horace Günzburg est consul général du Grand-duché de Hesse en Russie de 1868 à 1872.
Le 28 juin 1872, il est l'un des sept fondateurs de la Banque de commerce de Sibérie, grâce à laquelle seront financées les principales mines aurifères sibériennes (dont Iekaterinbourg), avec le soutien de Piotr Chouvalov et les héritiers d'Ivan Dmitrievich Astashev (1796-1869), pionnier dans l'extraction de ce minerai en Russie.
En novembre 1877, il cofonde à Paris, chez lui, rue de Tilsitt, avec les peintres Alexeï Bogolioubov, Alexeï Harlamov, l'écrivain Tourgueniev, et le soutien du diplomate Nicolas Orloff, la Société d'entraide et de charité des artistes russes de Paris. Les réunions durèrent jusqu'en 1886 et étaient animées, très suivies par la colonie des artistes russes présents dans la capitale française[1].
En janvier 1878, il hérite de la moitié de la fortune de son père, ses deux autres frères, Alexandre et Salomon, héritant chacun du quart. Alexandre, pourtant l'aîné, n'avait montré aucun goût aux affaires. Quant à Salomon, il allait s'impliquer tardivement dans les affaires bancaires.
