Dopo aver giocato nelle giovanili dell'Askøy, Olsen Pettersen è entrato a far parte di quelle del Brann nel 2013.[1] Ha fatto parte della squadra che si è aggiudicata il Norgesmesterskapet G19 2014. Aggregato in prima squadra nella stagione 2016, ha esordito in Eliteserien in data 26 novembre 2017, schierato titolare nel pareggio casalingo per 2-2 contro il Tromsø.[2]
Il 14 gennaio 2019, il Nest-Sotra ha reso noto d'aver ingaggiato Olsen Pettersen, con la formula del prestito.[1]
Il 9 settembre 2020 ha prolungato il contratto che lo legava al Brann, fino al 31 dicembre 2023.[3]
Il 26 gennaio 2023 è stato ufficializzato il suo trasferimento ai faroesi del KÍ Klaksvík.[4]