Han ble påvirket av Grundtvigs ideer om folkehøgskoler under et opphold i Danmark. Sammen med den noe yngre vennen Herman Anker startet han i 1864Sagatun Folkehøyskole på Hamar som Norges første folkehøyskole på Sagatun. Da Sagatun ble innviet i 1864, minnet grunnleggerne om Ole Vig sin innsats og inspirasjon inntil sin død. Arvesen var enestyrer etter at Anker forlot skolen i 1873.
Olaus Arvesen var sønn av gårdbruker Arve Olsen og hustru Antonette Christine Buvik. Han var far til fiolinisten Arve Arvesen. I forbindelse med Sagatuns 100-årsjubileum i 1964 ble han og vennen Anker avbildet på to frimerker: NK 558, 50 øre matt lillarød, og NK 559, 90 øre matt fiolettblå.
Bibliografi
Grundlæggelsen af Norges første folkehøiskole. 1901
Oplevelser og erindringer fra 1830-aarene og utover. 1912