J.P.E. Hartmann var sønn av musikeren August Wilhelm Hartmann og var utdannet som jurist, men også en dyktig orgelspiller og allerede som 19-åring i 1824 ble han utnevnt til organist ved Garnisons kirke og etterfulgte dermed sin far. I 1827 ble han lærer ved det nylig opprettede musikkonservatorium. Han hadde i tillegg jobb som sekretær i Den Borgerlige Indrulleringskommission.
Stillingen som organist hadde han til meget sent i livet, men etter hvert kom arbeidet med å skrive musikk til å ta mer tid. Han ble videre professor ved Københavns Universitet i 1849 og direktør for Musikkonservatoriet i 1890, da han etterfulgte Niels W. Gade. Hartmann var medstifter av Konservatoriet i 1867.
I 1836 var Hartmann med på å stifte Musikforeningen i København, og i 1839 var han tilsvarende med på å starte Studenter-Sangforeningen. Han ble senere formann i en lang årrekke for begge foreningene.
Fra 1836 reiste Hartmann ofte i Europa. Den første reisen brakte ham f.eks. til flere byer i Tyskland, Sveits, Praha, Wien, Salzburg og Paris. Senere reiste han også i Norge og Sverige og nådde i 1857 også til Italia. Hans siste reise i 1878 gikk til Hamburg.
Musikk
Gjennom sitt lange liv opplevde Hartmann store endringer i de herskende musikalske stilarter og det påvirket hans egne komposisjoner. Fra starten tilhørte verkene den wienerklassisistiske stil og mot karrierens slutt endte han i den senromantiske stilen. Samtidig kan man finne en nordisk tone i mye av musikken.
Hartmann startet med å skrive musikk svært tidlig. De første bevarte komposisjoner er fra hans tidligste tid som organist hvor han var rundt 20 år.
I tillegg til dette skrev han scenemusikk til en rekke skuespill av diktere som Adam Oehlenschläger, Johan Ludvig Heiberg og H.C. Andersen. Han hadde også et langvarig samarbeide med August Bournonville med å skrive ballettmusikk, blant annet 2. akt av Et folkesagn.
Som musiker virket han i en menneskealder som organist, men skrev kun få – men betydelige – verker for orgel. Han var etter sigende en dyktig improvisator, men skrev ikke sine improvisasjoner ned. Til gjengjeld har han skrevet mange kirkelige vokalverker, omfattende verker for solostemmer med enkel akkompagnement til store verker med kor og orkester. Mest kjent i dag er salmemelodier til f.eks. Blomstre som en Rosengaard og Op dog, Sion, ser du ej.
Musikalsk ettermæle
Med sin sentrale plassering i dansk musikk på 1800-tallet kom Hartmann til å påvirke mange yngre komponister. Han ble mot slutten av sitt liv betraktet som den musikalske inkarnasjon av den danske folkesjel og blant de mest markante av de komponister som er påvirket av ham, kan nevnes Peter Erasmus Lange-Müller, Edvard Grieg og Carl Nielsen.