Играл на скрипке с семи лет, а в городском военном оркестре играл также на трубе и флейте-пикколо. Учился в Стокгольме, в 1885 г. дебютировал в составе оркестра Музыкального общества «Гармония» (будущего Бергенского филармонического оркестра). В этот же период познакомился с Эдвардом Григом, на племяннице которого в дальнейшем женился. Затем Хальворсен проехал по Европе, в 1886—1888 гг. учился в Лейпцигской консерватории и играл в оркестре Гевандхауса, потом некоторое время находился в Санкт-Петербурге, где совершенствовал мастерство скрипача под руководством Леопольда Ауэра, в 1889—1892 гг. преподавал в Хельсинки, где на него оказал влияние молодой Бузони. Вернувшись в Норвегию в 1893 г., он возглавил Бергенский филармонический оркестр и оркестр бергенского театра «Национальная сцена», а в 1899 г. перебрался в Кристианию (ныне Осло) и на протяжении 30 лет руководил оркестром Национального театра.
Хальворсен много занимался обработками норвежского музыкального фольклора — с тех пор как по предложению Грига впервые записал в 1901 г. от народного музыканта Кнута Дале ряд мелодий; этот опыт нашёл отражение в цикле Хальворсена «Норвежские народные песни и танцы» (норв.Norske Vise og Danse) и других сочинениях. Пользуется известностью небольшая пьеса Хальворсена «Марш бояр» (норв.Bojarenes inntogsmarsj), написанная под впечатлением от знакомства с историей Румынии после того, как Хальворсен получил приглашение преподавать в Бухаресте. Хальворсен осуществил также ряд транскрипций и переложений — в частности, оркестровал Похоронный марш Грига (эта оркестровая версия была исполнена на похоронах самого Грига согласно завещанию композитора). Наибольшей известностью пользуется по сей день сделанное Хальворсеном переложение для скрипки и альта знаменитой Пассакальи из Седьмой сюиты Генделя.
Сын Хальворсена, Стейн Григ Хальворсен (род. 1909) — известный норвежский театральный актёр.
