Ólafsson cominciò la carriera con la maglia del KR Reykjavík. Passò poi al Selfoss, prima di ritornare al KR Reykjavík. Nel 2010, vestì la maglia dei norvegesi del Våg. L'anno successivo, tornò ancora al KR Reykjavík. Sempre nel 2011, fu in forza all'Ullensaker/Kisa e contribuì alla promozione in Adeccoligaen. Dal 2012, milita nelle file dello Skedsmo.