Etter examen artium ved Bergen katedralskole 1912 studerte han pressen i Bergen og ble cand.philol. i historie 1917 ved Det Kongelige Frederiks Universitet i Kristiania. Han skrev for Morgenavisen og Tidens Tegn (fra 1913) inntil han startet i det danske forlaget Gyldendals norske filial i 1920. Han ble administrerende direktør for Gyldendal Norsk Forlag fem år senere etter at forlaget under Griegs ledelse ble økonomisk uavhengig av danske Gyldendal. Gyldendal Norsk Forlag var det ledende forlaget i Norge.[7][8]
Under andre verdenskrig ble han fjernet fra sine verv og sin stilling i Gyldendal og ble internert på Grini i 1941. Knut Hamsun skrev kort etter arrestasjonen at det ville ruinere Gyldendal om Grieg ble fjernet fra sin stilling. Sønnen Tore Hamsun, som Grieg kjente fra han var gutt, fungerte dels som sjef for Gyldendal fra mars 1942 etter instruks fra Gulbrand Lunde. Grieg ble løslatt i september 1942 etter at blant andre Marie Hamsun hadde snakket med Josef Terboven. Advokat Jens Christian Mellbye og direktør Bredo Grimsgaard hadde også talt Griegs sak. Grieg har gitt ut flere skrifter om forlagsvirksomhet, bokhandel, forfattere og "hjemkjøpet" av de rettighetene til norsk forfattere.[8][6]