Senovėje Žaliakalnio teritorija buvo apaugusi mišria lapuočių giria. Per ją į Neries upę tekėjo vandeningas Raginės upelis. Kairiąja Neries krantine ėjo kelias iš Kauno senamiesčio į Jonavą. Prie jo, kalno papėdėje ir šlaituose, XVII a. pradėjo kurtis pirmieji Žaliakalnio gyventojai. Iškirtus lapuočių mišką, Žaliakalnis buvo apgyvendintas trimis savarankiškai besikuriančiais rajonais: Antakalniu, Ragine ir Naujapiliu.[3] Šiaurinėje dalyje, šlaite virš dabartinės Jonavos gatvės, vėliau įsikūrė darbininkų varguomenės lūšnų kvartalas, vadintas Brazilka, Argentinka. Pro Žaliakalnį į šiaurės rytus ėjo svarbus kelias, kuriuo XIX a. viduryje nutiestas Kauno–Ukmergės–Daugpilio–Peterburgo plentas. Tada abiejose jo pusėse ėmė dygti nauji namai. 1871 m. prie miesto prijungta vakarinė Žaliakalnio dalis, 1889 m. – didžioji dalis, drauge su dabartiniu Vytauto kalnu, 1919 m. – visas Žaliakalnis prijungtas prie Kauno. 1871 m. įkurtas pramogų parkas, nuo 1919 m. – Vytauto parkas.
XIX a. Žaliakalnis buvo apaugęs mišriu lapuočių mišku, susiliejusiu su Kauno Ąžuolyno sengire. 1889 m. ši teritorija buvo prijungta prie Kauno, tačiau statybos beveik nevyko, kadangi didžioji žemės dalis priklausė Kauno tvirtovei, prie dabartinio Radvilėnų plento stovėjo 7-ojo dragūnų pulko kareivinės. Šalia jų buvusi aikštė naudota kariuomenės pratyboms ir paradams. 1905 m. Vytauto parko šlaite pastatyta įtvirtinta betoninė komendanto slėptuvė, 1913 m. dabartinėje Perkūno alėjoje – automobilių garažas ir dirbtuvės. 1913–1915 m. pastatytas storasienis betoninis kibirkštinės radijo stoties pastatytas ir raudonų plytų namas jos darbuotojams – XX a. tarpukariu ten veikė Kauno radijo stotis.[4]
Galutinai Žaliakalnis susiformavo po Pirmojo pasaulinio karo iki 1940 metų. Kauno savivaldybės iniciatyva 1923 m. sudarytas miesto suplanavimo projektas [5], kurį parengė iš Kopenhagos pakviestas inžinierius Peteris Marius Frandsenas drauge su inžinieriumi Antanu Jokimu. Žaliakalniui plane buvo numatyta ypatinga funkcija. Šis miesto rajonas turėjo tapti administraciniu laikinosios sostinės centru: Vytauto kalne planuota pastatyti Universiteto kompleksą, geometriniame Žaliakalnio centre – Prezidentūros, Seimo ir Vyriausiojo teismo rūmus, Aušros g. ir Savanorių pr. sankirtoje – kareivines bei aikštę paradams.
Realizuotas tik plano fragmentas tarp Vydūno alėjos, Radvilėnų plento ir Petrausko gatvės, nes žemė čia priklausė valstybei (buvusios miesto ganyklos), tad neiškilo kliūčių planingai formuoti gatvių tinklą ir užstatymą. Trapecijos formos rajonas suskirstytas į kvartalus, kuriuose suplanuoti 187 sklypai. Dauguma statomų namų pasižymėjo modernia stilistika. Mediniuose ir mūriniuose 1-2 aukštų pastatuose įrengti vienas ar keli butai. Pagal išankstinį planą atskiros gatvės apsodintos skirtingų rūšių medžiais, erdviuose sklypuose palikta vietos sodams.
Du šio laikotarpio pastatai – Č. Pacevičiaus mūrinė vila (Vydūno al. 59, statybos techniko V. Kopylovo projektas) ir A. Jančausko medinė vila (Minties ratas 51, statybos technikas Jonas Varneckis) – Kauno Miesto valdybos sprendimu premijuoti už išraiškingą architektūrą. Namų savininkams ne tik įteiktas pagyrimo lapas, bet ir vieneriems metams atleisti nuo mokesčių už premijuotą turtą.
Iki 1940 m. Žaliakalnis buvo lietuviškiausia Kauno miesto dalis. Visuose rajone esančiuose sklypuose, išskyrus kelis, buvo pastatyti gyvenamieji namai. Aiškios paskirties neturėjo tik teritorija, esanti tarp Gėlių rato ir Vydūno alėjos. Trečiojo dešimtmečio pabaigoje architektas A. Jokimas siūlė čia statyti Prisikėlimo bažnyčią, tačiau jo minčiai nebuvo pritarta, sklypas liko tuščias.
Pagal P. M. Frandseno ir A. Jokimo planą suformuota teritorija vienintelė Kaune ir bene visoje Lietuvoje turi taisyklingą geometrišką sandarą. 1999 m. spalio 28 d. dalis Žaliakalnio teritorijos įtraukta į LR Nekilnojamųjų kultūros vertybių urbanizuotų vietovių sąrašą.[7]2004 m. gruodžio 28 d. į registrą įrašyta Petro Vileišio aikštė, kurioje 1924 m. vyko pirmoji Lietuvos Dainų šventė.[8]2006 m. gegužės 16 d. į registrą įtrauktas Ąžuolyno parkas.[9]