Nacque ad Enzesfeld, una piccola città della Bassa Austria dove il padre era amministratore del principe di Montecuccoli, un nobile austriaco di origine italiana. Formatosi presso i Gesuiti, entrò nel loro ordine nel 1764 e intraprese presso di loro l'attività di docente, dapprima come insegnante al ginnasio gesuita di Vienna.
Eckhel ha raccontato nel suo libro Numi veteres anecdoti come cominciò ad interessarsi al Gabinetto numismatico che allora era diretto da un altro gesuita, Joseph Khell. A seguito di una malattia che lo aveva reso inabile all'insegnamento, cominciò a dedicarsi esclusivamente agli studi numismatici. Fu inviato dal suo ordine in Italia ed a Firenze ottenne l'incarico di studiare ed organizzare il Tesoro numismatico del Gran Duca di Toscana, Pietro Leopoldo.
Tornato a Vienna divenne il direttore della sezione antica del Gabinetto numismatico imperiale. In seguito, nel 1775 divenne direttore dell'intero Gabinetto. Nello stesso anno fu nominato professore alla cattedra di Antichità e di Scienze ausiliarie della Storia all'università viennese. Durante lo stesso anno fu pubblicata la sua prima opera numismatica.
Eckhel è considerato il fondatore della numismatica come scienza. Aveva organizzato la collezione di cui era responsabile secondo nuovi criteri, e non più nell'ordine alfabetico come si era fatto in precedenza. Divise la numismatica antica in due dipartimenti: quello delle monete greche, dove si trovavano le monete coniate da tutte le città tranne Roma, e quello delle monete romane, dove si trovavano le monete emesse sotto l'autorità di Roma.
Eckhel usò questa nuova organizzazione del materiale numismatico per la stesura del nuovo catalogo della collezione imperiale (Catalogus Musei Cæsarei Vindobonensis), avvenuta insieme ai gesuiti Erasmus Fröhlich e Josef Khell von Khellburg.
Per le monete "greche" scelse una suddivisione di tipo geografico, procedendo verso est dalla penisola iberica fino all'Asia minore e proseguendo poi per l'Africa verso ovest, facendo così il giro del Mediterraneo.
Per le monete Romane prima pose le monete fuse, poi le monete repubblicane anonime, quindi le altre monete repubblicane divise per famiglia ed infine le monete imperiali in ordine cronologico.
Questa organizzazione è tuttora quella più usata dagli specialisti nello studio della numismatica classica.
Sylloge II numorum veterum anecdotorum thesauri caesarei, Vienna 1786
Descriptio numorum Antiochiae Syriae, Vienna 1786
Doctrina numorum veterum, Vienna 1792-98, 8 vol. in 4°, la sua opera più importante
Addenda, Vienna 1826, pubblicati dai suoi manoscritti a cura del suo successore, Anton von Steinbüchel
Kurzgefasste Anfangsgründe zur alten Numismatik, Vienna 1786 (2ª ed., 1807). Un manuale scritto su ordine di Giuseppe II, tradotto in latino, francese e italiano
Lezioni elementari di Numismatica antica, Roma 1808, traduzione italiana del precedente
Daniela Williams, "Gaetano Marini e Joseph Eckhel tra numismatica ed epigrafia", in M. Buonocore (ed.) Gaetano Marini (1742-1815) protagonista della cultura europea. Scritti per il bicentenario della morte, (Studi e Testi 492-493) Città del Vaticano 2015, pp. 785–796.