Era il figlio del pittore romantico Thomas Fearnley, e di sua moglie, Cecilie Catharine Andresen, figlia del banchiere Nicolai Andresen, fondatore della Andresen Bank, una delle più grandi banche commerciali della Norvegia[1].
Sposò Elizabeth Young (1854–1932) e fu il padre di Thomas Fearnley (1880-1961), a sua volta imprenditore e filantropo.
Nel 1869 fondò la Fearnley & Eger, che divenne una delle principali società di navigazione norvegesi.