Olsen speelde in de jeugd bij Malmö FF, maar moest dat voor zijn zestiende verlaten. Na passages bij Bunkeflo IF, IF Limhamn Bunkeflo, nogmaals Bunkeflo FF en IFK Klagshamn in lagere divisies, keerde hij in 2012 terug bij Malmö. Hiervoor debuteerde hij op 1 oktober 2012 onder coach Rikard Norling in de Allsvenskan, uit tegen Syrianska. Dat bleef zijn enige wedstrijd dat jaar. Olsen groeide in 2014 onder coach Åge Hareide uit tot eerste doelman van Malmö. Hij werd twee jaar op rij landskampioen met de Zweedse club, in het laatste als onbetwiste basisspeler.
Olsen tekende in juli 2015 bij PAOK Saloniki. Hier verloor hij na een halfjaar zijn basisplaats. De Griekse club verhuurde hem per januari 2016 aan FC Kopenhagen, waarmee hij enkele maanden later kampioen werd. De club besloot om Olsen definitief over te nemen en gaf hem een vierjarig contract. Hij kreeg en behield ook bij Kopenhagen de voorkeur als eerste doelman. Als zodanig werd hij ook twee jaar achter elkaar Deens landskampioen.
Olsen verruilde FC Kopenhagen in juli 2018 voor AS Roma, dat net Alisson Becker had verkocht. Olsen werd zijn directe opvolger. Interim-coach Claudio Ranieri passeerde hem in de laatste twee maanden van 2018/19 alleen voor Antonio Mirante. Roma kocht in juli 2019 vervolgens Pau López. Daarmee kon Olsen het vergeten bij Roma. Hij had alleen nog wel een contract tot medio 2023. Hij bracht de volgende drie seizoenen op huurbasis door bij achtereenvolgens Cagliari, Everton, Sheffield United en Aston Villa. Laatstgenoemde lijfde Olsen in juli 2022 definitief in om te gaan fungeren als reservedoelman achter Emiliano Martínez.
Interlandcarrière
Olsen debuteerde op 15 januari 2015 onder bondscoach Erik Hamrén in het Zweeds voetbalelftal, in een oefeninterland thuis tegen Ivoorkust. Hij speelde de volledige wedstrijd. Zweden won met 2–0 door treffers van Johan Mårtensson en Marcus Rohdén.[4] Olsen was ook gerechtigd om voor het Deens voetbalelftal te spelen, omdat zijn beide ouders afkomstig zijn uit Denemarken.
Olsen maakte zowel de kwalificatie voor het EK 2016 als het toernooi zelf mee als reservedoelman achter Andreas Isaksson. Hij kreeg in die periode wel speeltijd in oefeninterlands. Isaksson stopte na het EK als international, waarop Olsen onder de nieuwe bondscoach Janne Andersson eerste doelman werd. Zweden en hij kwalificeerden zich na een kwalificatiepoule met onder meer Frankrijk en Nederland en play-offs tegen Italië voor het WK 2018. Zijn ploeggenoten en hij bereikten op dit toernooi de kwartfinales. Olsen was daarna ook tijdens de UEFA Nations League 2018/19 en het EK 2020 Zwedens eerste doelman.
