Han begynte å gi ut Det norske Nationalblad i 1815, året etter at den nye Grunnloven hadde åpnet for «frimodige Ytringer om Statsstyrelsen». Det var særlig hans bror, politikere Jonas Anton Hielm, som forsynte ham med slike ytringer, som tildels ble trykket anonymt.[3]
Avisen ble saksøkt etter to injurierende innlegg om Christian Magnus Falsen. Ettersom Hielm var tilhenger av retten til å være anonym tok han som redaktør fullt ansvar. Han ble dømt til landsforvisning, men Høyesterett reduserte straffen til en bot.[3] Saken bidro til å befeste prinsipper om redaktøransvar og anonymitet i norsk presse. Avisen ble nedlagt kort tid etter, og forholdet mellom de to brødrene ble ødelagt av saken.
I 1820-årene bosatte Hielm seg i Aker, hvor han drev en gård. Han tok del i lokalpolitikken og ble i 1837 Akers første ordfører.[3]
