Puisto on saanut alkunsa lehtipuuistutuksista, jotka tehtiin Tampereen ensimmäisen kirkon ympärille 1830-luvulla. Viereisellä tontilla sijaitsi apteekkari Axel Tennbergin hyötypuutarha, joka liitettiin puiston osaksi. Nykyisen muotonsa puisto sai 1920-luvulla, kun alue siirtyi kaupungin omistukseen. Alueella toimineen Frenckellin paperitehtaan rakennuksia purettiin ja puiston keskelle tehtiin kirjastotalo (1925). Samalla viheraluetta laajennettiin kosken rantaan, jossa oli aiemmin ollut muun muassa kylpylä ja sähkölaitos. 1930-luvulla Kirjastonpuiston ja sitä vastapäätä sijaitsevan Koskipuiston ranta-alueet muotoiltiin ilmeeltään yhtenäiseksi kokonaisuudeksi.[2][3][4][5]
Kirjastonpuisto kunnostettiin vuosina 2009–2012.[1] Remontin yhteydessä alueella tehtiin arkeologisia tutkimuksia, joissa maan alta paljastui teollisuushistoriaan liittyviä muinaisjäännöksiä: Frenckellin paperitehtaan kivipäällysteistä piha-aluetta sekä kapearaiteisen rautatien jäänteitä. Tärkeimmät löydöt suojeltiin muinaismuistolailla ja peitettiin sorakerroksella.[4]
Puiston nimet
Kirjastonpuistosta on käytetty myös nimiä Vanhan kirjastotalon puisto, Vanhan kirkon puisto, (läntinen) Koskipuisto ja Vainisenranta. Nimi Kirjastonpuisto on tullut käyttöön kirjastotalon rakentamisen jälkeen.[6][7][8]
Vuonna 2011 puiston osa-alueille annettiin viralliset nimet, jotka merkittiin asemakaavaan.[1][9]Vanhankirkonpuisto sijaitsee kirkon vieressä, Vanhankirjastonpuisto kosken rannassa, Frenckellinpuisto Frenckellin rakennusten läheisyydessä ja Kustaa III aukio puiston esiintymislavan edustalla. Aukion nimi viittaa Tampereen kaupungin perustajaan, kuningas Kustaa III:een. Nimen kirjoitusasu on herättänyt huomiota, sillä se ei ole suomen kielioppisääntöjen mukainen. Kadunnimitoimikunta oli kuitenkin asiasta tietoinen päätöstä tehdessään. Se ei halunnut käyttää kieliopillisesti oikeaa muotoa Kustaa III:n aukio, jota Kotimaisten kielten keskus oli suositellut.[10][11]