Брандур Ольсен є вихованцем данського клубу «Копенгаген». Був капітаном молодіжної команди. У 2014 році Брандур був внесений до заявки першої команди. Дебют в основі футболіста відбувся у квітні 2015 року.[1] У 2015 році Брандур разом з командою став переможцем національного Кубку Данії.
У грудні 2015 року, не маючи достатньо ігрової практики, футболіст до кінця сезону відправився в оренду у клуб «Вендсюссель».[2]
Після завершення терміну оренди Брандур полишив «Копенгаген» і підписав трирічний контракт з клубом «Раннерс». він став третім фарерським футболістом, який перейшов грати у Данську Суперлігу.
Перед початком сезону 2018 року Брандур Ольсен перейшов до складу ісландського «Хабнарфьордура».[3] В ісландському чемпіонат Брандур провів два сезони, після чого на правах вільного агента перейшов до шведського клубу «Гельсінгборг». З клубом підписаний дворічний контракт.
Збірна
Брандура Ольсена називали одним з кращих футболістів в історії фарерського футболу. Його дебют на міжнародному рівні відбувся 11 жовтня 2014 року, коли футболіст вийшов на заміну у матчі проти команди Північної Ірландії.[4] Свій перший гол у збірній Брандур забив у червні 2015 року у ворота збірної Греції.[5]