Hoewel hij werd opgeleid als schilder, won de dichtkunst zijn gunst. In 1868 werd hij door zijn familie naar Bornholm gestuurd. Hier werd hij opgeleid als schilder. Hij was veel samen met de Bornholmse schilder Kristian Zahrtmann.
Drachmanns literaire doorbraak kwam in 1872 met zijn bundel Digte (gedichten). Hij stond bekend als een man die zich door vele vrouwen liet inspireren, hetgeen ook vaak tot schandalen leidde.
Het huwelijk met Vilhelmine liep in 1874 reeds op de klippen. Vilhelmine trouwde kort daarna met de rijke landman Valdemar Hilarius-Kalkau die tevens Drachmanns dochter Eva adopteerde. Drachmann begon hierna een affaire met een getrouwde vrouw, genaamd Polly, maar zij beëindigde de affaire kort nadat ze hem een dochter had geschonken.
Hij ontmoette vervolgens een meisje in Hamburg met de naam Emmy. Zij voelde zich aangetrokken tot hem, en hij vertrouwde haar zijn levensverhaal toe. Toen Emmy te weten kwam dat het haar zus Polly was die van Drachmann was weggevlucht, vluchtte Emmy naar Engeland. Toch was haar genegenheid voor hem groter, en de twee trouwden. Drachmanns dochter met Polly werd door de twee geadopteerd, en er volgden nog vier kinderen samen met Emmy, tot zij in 1887 tijdens haar laatste bevalling ziek werd. Een van zijn dochters stierf datzelfde jaar aan difterie.
Holger werd kort daarna verliefd op Amanda Nielsen die hij Edith noemde. Zij werd zijn grootste muze, hoewel hij er vele voordien had gehad. Hij liet zich echter niet scheiden van Emmy. Amanda vond echter een rijke worstenmaker en verbrak het contact met Holger die intussen ook met de Noorse zangeres Bokken Lasson betrekkingen was aangegaan. Dat duurde echter niet lang want hij werd verliefd op haar dominante zuster Soffi Lasson. Zij dwong hem om zich in 1903 van Emmy te laten scheiden.
Drachman verbleef aan het einde van de negentiende eeuw regelmatig in Skagen om er te schilderen te midden van de Skagenschilders. Hij stierf in 1908 te Hornbæk en werd begraven in Skagen. Het was Emmy die Holgers leven, vijf jaar na Holgers dood, op papier zette. Het manuscript Edit werd in 1990 door de familie aan Det Kongelige Bibliotek geschonken.
Emmy stierf rond 1928. Edith, die twaalf jaar jonger was, stierf op 87-jarige leeftijd in 1953. Zij kreeg geen kinderen met Drachmann. Soffi was zijn laatste vrouw.
