Kullberg blev student vid Uppsala universitet 1835 och vistades vid universitetet till 1844. Kullberg, som studerade klassiska språk och filosofi i Hegels riktning, visade betydande anlag, men avlade ingen examen. När hans far dog flyttade han hem till födelsebygden och var bosatt där till sin död, utan att ha innehaft någon offentlig eller enskild tjänst, endast fritt sysslande med vittra uppgifter. I Svenska Akademien tog han 1865 inträde med ett minnestal över Bernhard Elis Malmström. År 1877 blev Kullberg filosofie hedersdoktor vid Uppsala universitetsjubelfest.
Kullberg gjorde sig under studietiden känd för sina dikter och vann två priser av Svenska akademien för "Kvinnans skapelse" samt "Sonetter till Julia" (en Julia som, påstod han, "aldrig funnits till"); han utgav dessa jämte en del andra skaldestycken (däribland "Det fria ordet") i en samling Dikter 1850, som rönte ett relativt gynnsamt mottagande. De kännetecknades av fantasi och bildprakt i den eftertegnérskaepigonstilen. Kullbergs självkritik var emellertid stark, och han upphörde nästan alldeles med originaldikt, utom då det gällde någon tillfällighetsdikt, exempelvis "Prins Gustafsdrapa" (1853).
Tiden var också föga gynnsam för poesi, och Kullberg resignerade samt vände sig så gott som uteslutande till poetisk översättarverksamhet. Först tolkade han von ZedlitzkanzonerTotenkränze (långt senare offentliggjorda) och började därefter intressera sig för den italienska litteraturen. År 1857 belönade Svenska akademien Kullberg med stora priset för hans tolkning av två sånger ur TassosGerusalemme liberata; på akademiens uppmuntran fullbordade han översättningen av hela Befriade Jerusalem, som utkom 1860 och belönades med Kungliga priset. Därefter tog han på Bernhard von Beskows uppmaning itu med AriostosDen rasande Roland (4 delar, 1865–1870), två gånger belönad med Letterstedtska priset, och med PetrarcasCanzoner, ballader och sestiner (1880). Han tolkade även Petrarcas sonetter, men då dessa översattes av Jacob Theodor Hagberg, underlät han att utge dem och nöjde sig med att i Svenska akademiens handlingar (del IX, för 1894) meddela ett urval.
