Han var søn af sognepræst Mathias Christian Olivarius (1807-1863) og Sofie Jakobine Wettergreen (1813-1901), besøgte Ribe Latinskole til faderens død, hvorefter han, da moderen var flyttet til København, kom i murerlære og blev svend; samtidig havde han tegnet hos C.V. Nielsen og blev af ham dimitteret til Kunstakademiet, hvis skoler han gennemgik fra oktober1867 til den 30. juni1876, da han fik afgangsbevis som arkitekt. Som konduktør for Vilhelm Dahlerup kom han samme år til Randers, og bosatte sig der med det samme som udøvende arkitekt, året efter tog han tillige borgerskab som murermester.
Den 4. november1880 ægtede han i Sankt Mortens Kirke Charlotte Mogensine Andersen (25. januar 1860 i Randers - 13. maj 1946 sammesteds), datter af mægler Adolf Andersen (1827-) og Christiane Rasmine f. Cortsen (1838-1864).
Olivarius har bygget en del landsbykirker, nogle sygehuse forskellige steder i Jylland samt ombyggede i 1892-93 Løveapoteket i Randers, hvorefter han i 1894 var arkitekt for de til Landmandsforsamlingen opførte bygninger. Hans kirker er opført enten i en nyromansk eller en nygotisk stil.
