Jensens förnämsta skrifter är Et snes digtninger (1838), Blade af min mappe (1849), Dramatiske digtninger (1852), Kongens magt (1853), Freidighed i Herren, hundrede nye psalmer (1855), En erindring (1857) och Kirkeaaret, en julegave til menigheden (1861).
I norska folkskolans historia vann han ett ansett namn genom sina läroböcker i religion - en biblisk historia utkom i 11 upplagor - och i synnerhet genom sin innehållsrika Læsebog for folkeskolen og folkehjemmet (1863; 6 upplagor).