Innsbruckin talviolympialaisissa 1964 Ellefsæter oli 30 kilometrin kilpailuissa ensimmäisen kolmanneksen väliajoissa toisena mutta kaatui ja katkaisi molemmat suksensa. Hän hiihti vaihtosuksilla maaliin, mutta hänet hylättiin, koska sääntöjen mukaan vain yhden suksen sai vaihtaa. Hän sijoittui 15 kilometrillä 25:nneksi ja 50 kilometrillä kahdeksanneksi. Oslon MM-kilpailuissa 1966 hän voitti kultaa Norjan viestijoukkueessa sekä saavutti hopeaa 15 kilometrillä ja neljännen sijan 50 kilometrillä. Kaksi vuotta myöhemmin Grenoblen talviolympialaisissa hän voitti kultaa sekä 50 kilometrillä että viestissä. Vysoké Tatryn MM-kilpailuissa 1970 hän sijoittui 50 kilometrillä 37:nneksi ja Sapporon talviolympialaisissa 1972 samalla matkalla kymmenenneksi.[3]
Ennen keskittymistään maastohiihtoon Ellefsæter menestyi myös yleisurheilijana. Hän voitti Norjan mestaruuden 3 000 metrin estejuoksussa vuosina 1960 ja 1962. Belgradin EM-kilpailuissa hän karsiutui alkuerissä. Hänen ennätyksensä 3 000 metrin esteissä oli 8.43,8 vuodelta 1962.[3]
