A könyvtárat 1952-ben hozták létre egy új törvény értelmében, mely elrendelte a megyei könyvtárak alapítását. Az intézmény 1956-ban vette fel II. Rákóczi Ferenc nevét. A következő évtized végére kinőtte eredeti épületét, ami az Erzsébet téren állt (Diószeghy-ház, Erzsébet-tér 5.), és 1969–1971 között felépült új épülete. 1972. május 28-án adták át az új épületet, melyben a könyvtár ma is működik. Tervezője, Dézsi JánosYbl Miklós-díjat kapott a tervezéséért.
1976-ban már 15000 beiratkozott olvasója volt a könyvtárnak; 2010-ben ez 19234. A könyvtár állománya (2010): kb. 600000 dokumentum, ebből könyv 537000 db, videó és DVD 5116 db, hangzó dokumentum 22111 db, elektronikus dokumentum 2253 db, egyéb (térkép, kotta) 16904 db.[1]
A könyvtár felépítése
A központi épület földszintjén található a Tájoló (információs övezet). Itt lehet használni a könyvtár számítógépeit, az internetet. A wi-fi szolgáltatásnak köszönhetően saját eszköz használatával a könyvtár egész területén ingyenesen is elérhető az internet.
Az I. emeleten szabadpolcos elhelyezéssel a szépirodalmi részleg található, valamint a művészettel, nyelvészettel, sporttal kapcsolatos szakirodalom. A folyóirat-olvasóban napilapok, népszerű hetilapok várják az olvasókat.
A Gyermekrészleg könyvekkel, folyóiratokkal, és színes programokkal, foglalkozásokkal várja 0-14 éves korig a gyermekeket, tiniket. Itt már önkiszolgáló kölcsönző is működik. A Tinisarokban a 14 éves kor felettiek az ifjúsági irodalomból válogathatnak.
A II. emeleten található a szakirodalom túlnyomó része, a zenei és a helytörténeti részleg.
A könyvtár Helyismereti gyűjteményének Régi könyvek tárában helyezkedik el a muzeális gyűjtemény, valamint a történeti Abaúj, Borsod, Gömör, Torna és Zemplén (vár)megyék múltjával (1920-ig) és jelenével kapcsolatos dokumentumok.
A Zenemű- és médiatár a könyvek mellett folyóiratokkal, kottákkal, zenei CD-kel látja el az érdeklődőket. Itt kaptak helyet a hangoskönyvek és a DVD-k is.