Kielland debuterade som dirigent och pianist i Trondheim 1923 och var en av Norges ledande dirigenter. År 1931 anställdes han som kapellmästare i Oslo filharmoniska orkester i Oslo och från 1933 var han orkesterns konstnärlige ledare.
Ekonomiska orsaker tvingade orkestern till förändringar och 1936 tog Kielland över som musikalisk ledare av Guldsbergs Akademiske Kör. Han gjorde där stora insatser för att framföra musik av unga norska kompositörer.
Gradvis arbetade Kielland allt mera med komposition och mindre med dirigering. Han ville därför helst begränsa sig till gästdirigering. Hans kompositioner, som ofta har en nationell prägel, omfattar bland annat scenmusik till IbsensBrand, en violinkonsert och sånger för manskör.
Hedersbetygelser
Vid sin död var Kielland
innehavare av Konungens förtjänstmedalj,
Riddare av St. Olvasorden,
Kommendör av Den isländska falkorden.
Från 1961 mottog han Statens konstnärslön (från 1983 Statens hedersstipendium).