Han var sønn av fogden i Senja og Tromsø Ole Rynning og Golla Hveding. Han ble gift med en datter av landhandler Bernt Anker Steen i Ringsaker og var far til utvandrerføreren Ole Rynning, som skrev «Amerika-boka». Han var også morfar til presten Bernt Julius Muus og svigerfar til sin etterfølger Lorentz Peter Elster.[3]
Tilbake i Norge var han en tid lærer ved søndagsskolen i Trondheim og huslærer hos Eilert Holtermann på Austråttborgen. I 1805 var han i København for å søke embete og han ble samme år utnevnt til residerende kapellan i Ringsaker. Fra 1817 var han konstituert sogneprest samme sted. I Ringsaker gjorde han mye for å forbedre skolevesenet. I 1824 ble han utnevnt til sogneprest i Snåsa, hvor han ble resten av livet.