Han hadde lærereksamen fra Kviteseid seminar (1869) og virket som lærer i hjembygda fram til 1883. Fra 1879 dreiv han farsgården, seinere også nabogården. Han var forretningsfører i flere forbruksforeninger og fra 1884 til 1899 også herredskasserer. Fra 1895 til 1910 var han direktør i den lokale sparebanken. Han var i mange år medlem av Fyresdal herredsstyre og hadde også flere andre verv.[4]
På Stortinget representerte Tveiten Venstre for Bratsbergamt 1903–06, deretter enmannskretsen Vest-Telemarken 1906–21 og til sist Telemark fylke 1922–24.[4] Han var vararepresentant 1892–94 og 1900–03 (møtte 1902–03).[4] Han var stortingspresident i perioden 1917-20 og i 1922.[5] Han var parlamentarisk leder for Venstre 1919–1920[4] og formann i Stortingets bondelag fra 2013.[5]
Han var videre tredje varamedlem i Nobelkomiteen i to perioder, fra 1925–27 og 1928–30. Han var også en ivrig talsmann for landsmålet og avholdsbevegelsen.