Le bâtiment est aménagé par le père de Dominique Vivant Denon en 1759-1760, avec au premier étage[1] un salon à l'italienne orné de stucs, de tableaux en dessus de portes d'après Boucher représentant les sciences et les arts[2].
Vers 1870 sont introduits un plafond peint, un mobilier néo-Louis XV, et la partie 18e siècle reçoit une cage d'escalier et un bâtiment[2].
Il est partiellement inscrit aux monuments historiques depuis le et partiellement classé depuis le . La totalité de l'hôtel est protégé[2].
Ne pas confondre ce bâtiment avec l'ancien hôtel Denon au no 8 rue Elzévir dans le 3e arrondissement à Paris[3].