Cinque volte vincitore del campionato islandese (1952, 1953, 1957, 1961 e 1962), Ólafsson divenne nel 1958 il primo grande maestro islandese; due anni prima aveva ottenuto il suo primo risultato di livello internazionale, vincendo il torneo di Hastings del 1955-56 alla pari con Viktor Korčnoj.
Nel 1978 succedette a Max Euwe come presidente della FIDE, posizione che tenne fino al 1982, quando fu sostituito da Florencio Campomanes. Ólafsson continuò comunque a giocare occasionalmente a scacchi, vincendo un match rapid contro l'altro veterano Bent Larsen nel 2003 per 5-3.
