Prvá písomná zmienka o Jelšave pochádza z buly kráľa Bela IV. z roku 1243, ktorou kráľ daroval časť Muránskej doliny po hrad Jelšavu a celé Štítnické panstvo Filipovi a Dietrichovi Bubekovcom za zásluhy v bojoch s Mongolmi. V 14. storočí došlo k príchodu nemeckých kolonistov, baníkov, ktorí začali ťažiť železnú rudu. V druhej polovici 14. storočia sa Jelšava stala mestom a druhým najdôležitejším obchodným centrom a dodávateľom železa v Uhorsku.[4]
V roku 1552 kráľ Ferdinand I. udelil Jelšave právo meča. V roku 1556 mesto vyplienili a zapálili Turci, pričom zomrelo 452 občanov a 400 bolo zajatých.[4] Po obnove mesta v ňom pôsobilo viacero remeselných cechov, zameraných sa na spracovanie kovov, významní boli najmä zvonkári.[5] V roku 1573 v okolí Jelšavy fungovalo 5 hút a 4 hámre na spracovanie železa a iných kovov.
Od 17. storočia Jelšava strácala banícky ráz a význam nadobudli remeslá, kým v roku 1880 nebol v okolí objavený magnezit.[5] V roku 1893 došlo k uvedeniu do prevádzky železničnej trate z Plešivca do Muráňa, ktorá prechádzala cez Jelšavu a umožnila rozvoj miestneho priemyslu.[6] V roku 1894 tu vznikol v lokalite Teplá voda prvý magnezitový závod, pec na pálenie magnezitu, na Slovensku. Magnezitový závod bol daný do prevádzky s 8 pecami a ďalšími zariadeniami v roku 1923, spolu so železničnou vlečkou do Jelšavy.[4] Počas prvej Česko-slovenskej republiky jelšavskí robotníci protestovali za zlepšovanie svojich pracovných podmienok, napr. pochodom hladu z Jelšavy do Revúcej v roku 1932. V roku 1934 sa v meste vybudovali nové kasárne v lokalite Gombiarka. Po Viedenskej arbitráži od 2. novembra 1938 Jelšavu pričlenili k Maďarsku. Okupovaná bola až do oslobodenia mesta postupujúcou rumunskou armádou 21. januára 1945.
V meste pôsobila v rokoch 1968-1990sovietska vojenská posádka, ktorá si vybudovala vlastnú štvrť s ubytovaním a školou.[7] Počas komunizmu v koháryovskom kaštieli sídlila Poľnohospodárska škola. Po odchode sovietskych vojakov a po odchode posádky OS SR v roku 2005, ako aj po postupnom krachu miestneho ťažobného priemyslu, došlo ku zhoršeniu životnej úrovne v meste.[7] Mnoho obyvateľov sa odsťahovalo z regiónu, do vyprázdnených domov sa v 90. rokoch 20. storočia prisťahovalo mnoho Rómov z východu Slovenska, ktorí tu našli lacné ubytovanie.[7] V roku 2015 bol takmer každý šiesty obyvateľ okresu odkázaný na dávky v hmotnej núdzi. V meste bola v roku 2017 25-percentná nezamestnanosť.[7]
Coburgovský kaštieľ (predtým Koháriovský), monumentálna trojpodlažná štvorkrídlová barokovo-klasicistická stavba s vnútorným nádvorím z rokov 1796–1801. Staviteľom kaštieľa bol Mikuláš Kohári.[10] Údajne na jeho mieste pôvodne stál templárskykláštor. Súčasná budova bola pristavená k staršiemu renesančnému objektu z polovice 16. storočia. Hlavná fasáda orientovaná do námestia je členená lizénami a výrazným trojosovým rizalitom ukončeným štítom s tympanónom. Na ňom sa nachádza reliéf vojenských trofejí s iniciálami MK, teda Mikuláš Kohári. Parter je dekorovaný pásovou rustikou. V interiéri sa zachovala alegorická maľba zdobiaca slávnostnú sieň. V renesančnej časti sú miestnosti zaklenuté valenou klenbou s lunetami. Kaštieľ prechádza postupnou obnovou a organizujú sa v ňom kultúrne podujatia. V budúcnosti sa v ňom plánuje možnosť ubytovania.
Kaštieľ Koháriovcov
Renesančné krídlo kaštieľa
Jelšavský hrad - zrúcanina, pravdepodobne jestvoval už pred mongolským vpádom, spomína sa k roku 1243
Jelšavský hrádok, zbytky v polohe Hradovisko, bol obklopený miestami zdvojenými priekopami
Evanjelický kostol, jednoloďová tolerančná stavba s pravouhlým ukončením presbytéria a vežou tvoriacou súčasť jej hmoty, z rokov 1784–1785. Monumentálna empírová veža bola doplnená v roku 1834. Interiér je zaklenutý krížovou klenbou. Nachádza sa tu rokokové zariadenie, oltár a kazateľnica od miestneho rezbára J. Reisigera z roku 1785.[11] Veža, mierne vystupujúca z fasády, je členená kordónovými rímsami na tri úrovne. Je lemovaná nárožnými pilastrami a ukončená kopulovou helmicou.
Rímskokatolícky kostol sv. Petra a Pavla, jednoloďová klasicistická stavba s polkruhovým ukončením presbytéria a vežami tvoriacimi súčasť jej hmoty, z rokov 1838-1840. Autorom stavby je rakúsky architekt Alois Pichl. Vznikol na mieste stredovekého kostola, ktorý vyhorel v roku 1829.[12] V interiéri sa nachádza hodnotný klasicistický organ od Ferdinanda Komorníka z Pešti z roku 1865.[13] Hlavnej fasáde dominuje portikus s motívom trojosého víťazného oblúka ukončeného štítom s tympanónom. Nad portálom sa nachádza rozmerné termálne okno. Veže kostola majú štorcový pôdorys, rezonančné otvory sú segmentovo ukončené, završujú ich kopulové helmice.
Historické cintoríny, kresťanský a židovský. Sú tu pochované viaceré významné osobnosti, nachádza sa tu množstvo hodnotných náhrobníkov.[14]
Jelšava leží na železničnej trati 165 z Plešivca do Muráňa, ktorá bola uvedená do prevádzky v roku 1893. Počas okupácie Jelšavy po Viedenskej arbitráži sa na sever od mesta začali stavať tzv. Gemerské spojky, keďže časti železničnej siete boli odčlenením južných oblastí krajiny odrezané. V roku 2011 bola na trati 165 pozastavená osobná doprava po tom, ako bola už predtým zastavená od februára do júna 2003.[6]
Verejnú autobusovú dopravu zabezpečuje najmä spoločnosť SAD Lučenec, ktorá svojimi autobusmi spája mesto s okolitými obcami aj mestami Revúca a Rožňava. [15]