Helveg författade bland annat spirituella, men dunkla religionsfilosofiska arbeten, Spaadommene eller Gud i Historien (tre band, 1855–62), Parabel og Offer eller Natursymbolik (1856), Frimenighed og Apostelskole (1878–82) samt Livstanke og Livsgjerning (1892). Han var en viktig medarbetare vid Christian Andreas Hermann Kalkarsbibelöversättning (1847).