Le Jazzhus Montmartre a ouvert ses portes en 1954 comme club de jazz, sous le nom de "Club Montmartre" par Karl Emil Knudsen. En février 1959, le club Montmartre a été converti, par l'architecte Anders Dyrup, en un café-concert surnommé le "Café Montmartre". La veille du nouvel an 1961, Herluf Kamp Larsen a ouvert la salle sous le nom de "Jazzhus Montmartre". Le public danois est venu nombreux écouté la musique de jazz et a fait rapidement du Jazzhus Montmartre, l'un des lieux les plus populaires de Copenhague. Dès le début de célèbres musiciens de jazz américains et danois sont venus jouer, tels que Dexter Gordon, Stan Getz, Chet Baker, Ben Webster, Bud Powell, Oscar Pettiford, Jan Johansson, William Schiøpffe ou encore George Lewis. Par la suite, les jazzmen américains et danois continuent à venir se produire au Jazzhus Montmartre, Miles Davis, Dizzy Gillespie et même enregistrer en public leurs concerts comme le trio jazzy formé par Kenny Drew, Alex Riel et Niels-Henning Ørsted Pedersen qui animèrent longtemps les soirées au Jazzhus Montmartre ou encore l'album Jazzhouse du pianiste de jazz Bill Evans enregistré en 1969 et édité en 1987.
En 1991, ouvre à Copenhague un autre club de jazz, le Copenhagen Jazzhouse qui concurrença rapidement le Jazzhus Montmartre, qui vit sa fréquentation baisser jusqu'à devoir fermer ses portes en 1993. La même année, la chanteuse et compositrice danoise de jazz, Anne Linnet, rachète le Jazzhus Montmartre et le rénove complètement. Il rouvre ses portes en 1994 en élargissant les styles musicaux du jazz au hip-hop, en passant par la techno, la house et jusqu'au rock 'n' roll. En août 1994, les musiciens du festival de Roskilde vinrent jouer au Jazzhus Montmartre pour contribuer à sa renaissance. Malgré ce soutien, le Jazzhus Montmartre referma ses portes en janvier 1995. Le club de jazz fut revendu et changea plusieurs fois de propriétaires.
En 2004, le Jazzhus Montmartre rouvrit pendant deux jours avec une programmation riche de nombreux musiciens de jazz.
En 2010, le Jazzhus Montmartre rouvre de nouveau grâce à deux amis musiciens de jazz, le pianiste de jazz Niels Lan Doky et son ami entrepreneur Rune Bech. Le Club Jazzhus Montmartre se réinstalle sur les lieux de sa première adresse, au 19 A de la rue Noerregade, celle des années 1950. Alors que Niels Lan Doky est appelé à Paris pour être directeur musical, Rune Bech devient le directeur du légendaire club de jazz Montmartre. Le club de jazz comprend une salle de concert et un café, géré par le groupe des Guides Michelin Era Ora.
