Halvorsen var son til ein bakar. Han tok eksamen på elektrolina ved Risør yrkesskole i 1962 og ved Arendal maskinistskole i 1964. Deretter gjekk han Sørlandets tekniske fagskole i Grimstad og tok i 1968 fagbrev som elektromontør. Sidan var han elektroinstallatør i Åmli, med eige firma frå 1972. Han var områdesjef 1985-94 i Heimevernet, med kapteins grad.
Gjennom fire valperiodar, tida 1968-83, var Halvorsen medlem av kommunestyret i Åmli. Den siste fireårsbolken, 1980-83, var han også ordførar i kommunen. Frå 1976 var han i atten år medlem av Aust-Agder fylkesting, til dess han i 1993 vart vald til stortingsrepresentant. Han var då leiar av Nærings- og sysselsettingsstyret i Aust-Agder i seks år, 1985-91.
Hausten 1993 fekk Halvorsen andreplassen på Aust-Agder Arbeidarparti si valliste til Stortinget. Han var då nærast «sikra» stortingsplass, etter to periodar som fyrste vararepresentant. Med attval i 1997 og 2001 hadde han sete i Stortinget til hausten 2005. Dei fyrste fire åra var han medlem i Næringskomiteen, medan han i tida 1997-2005 var medlem i Forsvarskomiteen. Arbeidarpartiet sin fylkessekretær i Aust-Agder omtala han som «en sterk forkjemper for å bevare forsvarsanlegg i landsdelen»[1] til NRK i 2006.
