Ulfung började sin artistbana som nioåring i Olavsguttene, där han blev solist 1943. Han utbildades vid Musikaliske Akademin i Oslo och debuterade vid Det Nye Teater 1952. Han arbetade därefter i Milano under Angelo Minghetti 1954–1955 och vid Stora Teatern, Göteborg 1955–1958. Därefter fick Ulfung engagemang på Stockholmsoperan och bland rollerna där kan nämnas som Gustav III i Verdis Un ballo in maschera, Cavaradossi i Puccinis Tosca samt Mime i Wagners Siegfried. Hans sista stora debutroll i Stockholm blev titelrollen i Verdis Otello.
Under senare delen av karriären blev Ulfung internationellt uppskattad i roller som Aeghist i Richard Strauss Elektra och Herodes i samme kompositörs Salome. Efter sin internationella debut som Tamino i Trollflöjten på Covent Garden i London 1963 har Ulfung har gästspelat på ledande teatrar i Europa och USA.
Han blev hovsångare 1976 samt var chef för Stora Teatern i Göteborg säsongen 1977–1978.
Ulfung gifte sig 1951 med Björg Flognfeldt (1927–2023), som tidigare var mannekäng, och fick med henne fyra barn, bland andra sonen Karl Fredrik Ulfung.[1]
År 2024 utkom Catarina Ericson-Roos' biografi Jag måste sjunga annars dör jag.[2]