Karl Madsen utbildade sig först till målare, först under Vilhelm Kyhn i Köpenhamn och därefter i Paris under Jean-Léon Gérôme. Han ingick som assistent vid Statens museum for Kunst i Köpenhamn 1895, blev inspektör 1900 och var museets direktör 1911–1925. År 1918 blev han hedersdoktor vid Lunds universitet. Madsen utövade en betydande verksamhet för konstkulturen i Danmark och anlitades även i de andra skandinaviska länderna bland annat som expert på äldre nederländsk målarkonst, samt vann anseende som en av Europas främsta museimän.
Bland hans skrifter märks Japansk Malerkunst (1885), Hollandsk Malerkunst (1891), Studier fra Sverige (1892), Billedkunsten (1902), samt monografier över J.Th. Lundbye (1895), Theodor Philipsen (1912) och P.C. Skovgaard og hans Sønner (1918) samt kritiska kataloger över flera offentliga och enskilda samlingar i den skandinaviska länderna. Dessutom skrev han en bok om Skagenmålarna. Som ung hade han själv varit verksam i Skagen och efter sin pensionering blev han 1928 chef för det då nyöppnade Skagens Museum och var det till sin död.
