Leta 1562 je začel literarno pot z nemškim spisom Christlich bedencken, s katerim je nastopil proti Vlačićevim teološkim nasprotnikom. Leta 1563 je v pesmarici, ki sta jo uredila Klombner in Juričič, objavil dve pesmi (Symbolum Luther in Ta 14. inu 53. Psalm). Istega leta je napisal Summe christlicher Lehre, ki ni izšla v tisku, ampak je zametek poznejše Otročje biblije. Leta 1566 je izdal Otročjo biblijo, v katero je prenesel pravopisne in jezikoslovne reforme Trubarjevega pisanja, ob malem Abecedniku je objavil slovarček štiriindvajsetih besed, Katekizem v petih jezikih, navodilo za krščansko življenje in razlike med protestantsko in katoliško vero, Trubarjevo pesem Ne daj, Oča in svojo pesem O Bog Oča, nebeski Kral. Ohranjeni so le trije izvodi ; prvi se nahaja v Vatikanu, drugi v Londonu, tretji pa v Ulmu. Leta 1567 je izdal prvi del prevoda postile, katere avtor je Johannes Spangenberg. Naslov prevedene postile je Postila slovenska. V uvodu je zagovarjal svojo pravopisno reformo: dosledno je rabil znake za sičnike in šumnike, označil je mehki lj in nj, ločil u in v, uvedel akcentne znake in dodal znak ch za ć. Na koncu knjige je omenil, da je izdal samo prvi del, ker mu je za ostale primanjkovalo sredstev. Napisal je tudi enajst cerkvenih pesmi, izmed katerih jih je pet samostojnih prepesnitev svetopisemskega besedila, šest pa prevodov iz nemščine. Prizadeval si je zediniti Slovence in Hrvate v skupnem črkopisu, vendar ta poskus ni naletel na razumevanje pri Hrvatih. Kreljeve pravopisne reforme sta uveljavila Jurij Dalmatin v Bibliji in Adam Bohorič v prvi slovenski slovnici Zimske urice proste (Arcticae horulae succisivae).
Pisal je v čistem jeziku, skladnja je domača in preprosta. V pisavi knjižne slovenščine ni upošteval le enega krajevnega govora, temveč je zajemal izraze iz več narečij. Njegov jezik vsebuje manj germanizmov kot Trubarjev in Krelj manjkrat uporablja člen po nemškem načinu.
Dela
Christlich bedencken, ob vnd wie fern ein jglicher Christ, die Rotten vnd Secten, auch allerley offentliche Irthumen vnd Reliogionstreitte, beide von Rechts wegen, vnd auch mit der that, zu richten vnd zu anathematiziren, schüldigsey (1562)(COBISS)