Hartmann ble foreldreløs i ung alder og vokste opp i St. Petersburg hos sin onkel, som var en anerkjent arkitekt. Han studerte ved Repina, det keiserlige kunstakademiet i St. Petersburg, og startet karrieren illustratør.
Han arbeidet også som arkitekt, og laget skisser til blant annet Russlands 1000-års monument i Novgorod som ble avduket i 1862. Han arbeidet mest med akvareller og blyanttegninger da han var på utenlandsreise i årene 1864 til 1868. Sammen med Ivan Ropet var Hartmann blant de første kunstnerne som brukte tradisjonelle russiske motiver i sitt arbeid.
Etter at Vladimir Stasov hadde introdusert ham til kretsen rundt Milij Balakirev i 1870, ble han en nær venn av komponisten Modest Musorgskij. Etter Hartmanns tidlige død av aneurisme i en alder av bare 39 år, ble det holdt en utstilling av mer enn 400 av hans bilder i kunstakademiet i St. Petersburg i februar og mars 1874. Denne utstillingen inspirerte Musorgskij til å komponere pianosuiten Bilder fra en utstilling.
