Han var søn af Christopher og Anne Sophie Kern af en indvandret tysk slægt. Som så mange andre håndværksmestre og brandfolk var også faderen Christopher Kerrn med til at genopbygge hovedstaden efter branden1795. 1801-02 lod han huset Nørre Voldgade 6 opføre.[1]
Han blev gift med Anne Marie Velschouw (1798-1874). Tre af hans døtre blev gift med henholdsvis arkitekt Jens Eckersberg og murermester Hans Fussing (sidstnævnte var gift to gange). Hans søn Frederik Emil Kerrn (1824-?) blev oldermand for Københavns Tømrerlaug, mens en anden søn, den klassiske filolog Carl Christian Christopher Kerrn (1819-1889) blev overlærer ved Metropolitanskolen.