Han var nest eldste sønn til Giske og Lars Kolbenstvedt og var oppvokst på gården Våge i Suldal. I 1853 giftet han seg med Oleana F. Lindbom, og i 1855 tok de over slektsgården Kolbeinstveit som i dag er museum. Kolbenstvedt var ordfører i Suldal i periodene 1856–1859, 1862–1863, 1866–1869 og 1876–1880. Han avløste sin far som stortingsmann og satt første gang på Stortinget i 1865–1866 og deretter i flere perioder frem til 1891. Mellom 1883 og 1888 representerte han Venstre på Stortinget, mens han i perioden 1889–1891 representerte Moderate Venstre.