Han var sønn av Anton Østby og Kristine Nygaard. Faren var stasjonsmester. Birger Nygaard-Østby var utdannet ved Statens Tannlægeinstitutt i 1927 og giftet seg 1932 med Elsa Hoff (1907–1977). Etter noen år med privat praksis på Vinderen i Oslo, ble han assistent hos professor Immanuel Ottesen (1874–1955) ved Norges Tannlegehøyskole og innledet banebrytende forskning knyttet til rotfylling og betennelse som i 1939 ga ham en doktorgrad fra Universitetet i Oslo, delvis basert på et samarbeide med den tsjekkiske odontolog Karl Häupl (1893–1960) som hadde virket i Norge fra 1923 til 1934.[2] Han var den tredje tannlege med doktorgrad i landet før den andre verdenskrig.[3] De andre var Guttorm Toverud (1896–1969), også kjent som «barnetannpleiens far»,[4] og Ingjald Reichborn-Kjennerud (1901–81), sønn av medisinalhistoriker Ingjald Reichborn-Kjennerud (1865-1949).[5]
Etter krigen
Fra 1946 til 1951 var han visepresident og deretter president i Den norske tannlegeforening (1949-1951). Fra 1951 ledet han Odontologisk Forskningsinstitutt. Foruten å være æresdoktor ved Göteborgs universitet ble han i 1971 utnevnt til ridder av 1. klasse av St. Olavs Orden.[6] Etter en reise til Kina utga han i 1973 ei bok om akupunktur.
