Östberg blev student vid Uppsala universitet[3] 1866 och filosofie kandidat där 1870. Han ägde och bebodde Brantshammar i Vassunda socken i Stockholms län 1873–1889 och var direktör för Stockholms Mjölkförsäljnings AB 1889–1905.
Vid andrakammarvalet 1884 lyckades Östberg få flest röster av kandidaterna till riksdagsplatsen för Stockholms läns västra domsagas valkrets. Han tillträdde som riksdagsman vid mandatperiodens början 1885 och behöll sin riksdagsplats till 1896. Åren 1897–1916 var han istället riksdagsman i första kammaren, invald i Stockholms läns valkrets. Han var under sin riksdagstid andra kammarens vice talman 1895–1896, ledamot av tillfälliga utskott 1886–1891, 1893–1894, 1897, av särskilt utskott 1895, av bevillningsutskottet 1896 (vice ordförande), 1902–1905, bankoutskottet 1898–1901, unionsutskottet oktoberriksdagen 1905, konstitutionsutskottet 1906–1908, rösträttsutskottet 1907 samt riksbanksfullmäktig 1894–1895 och riksgäldsfullmäktig 1895–1916 (andre deputerad 1904–1916).
Östberg ansågs på sin tid stå statsminister Erik Gustaf Boström ganska nära, men torde i unionsfrågan ha känt en viss dragning åt Oscar Alin. I rösträttsfrågan var han ivrig proportionalist och motsatte sig 1907 bifall till det kompromissförslag som framställdes av Daniel Persson i Tällberg. Han hade en avgörande betydelse i högerns valrörelse och tog initiativ till Allmänna valmansförbundet, vars första ordförande han var 1904–1905 och 1908–1912, samt till bildandet av Svenska Arbetsgivareföreningen (SAF), vars ordförande han var 1902–1907.
Östberg var ledamot av Stockholms läns landsting 1878–1895 (ordförande från 1891) samt ledamot av länets hushållningssällskaps förvaltningsutskott 1873–1907. Hos stadsfullmäktige i Stockholm, som han tillhörde 1899–1912, var han vice ordförande 1904–1907. Även för det officiella kommittéarbetet var han anlitad som ledamot av tvångsuppfostringskommittén 1896-98, maltdryckskommittén 1898–1900, tuberkuloskommittén 1905 och försvarskommittén 1907.
Östberg gifte sig 1873 med Ida Wilhelmina Axelina Eliana (Ellen) Tisell (född 1850 i Kristbergs församling i Östergötland, död 1938 i S:t Johannes församling i Stockholm). Tillsammans fick paret fem barn:
Gustaf, född 1875, Erik, född 1876, Nils, född 1878, Clas, född 1880, och Anita Elena Luisa, född 1884.
1Koalitionsregering med Liberala samlingspartiet 2Samlingsregering med Socialdemokraterna, Folkpartiet och Bondeförbundet 3Koalitionsregering med Centerpartiet och Folkpartiet liberalerna 4Koalitonsregering med Centerpartiet, Folkpartiet liberalerna och Kristdemokraterna5Koalitonsregering med Kristdemokraterna och Liberalerna