La famille Granvelle a accumulé dans ces murs au fil du temps de magnifiques collections de tableaux, d'antiquités et de livres qui furent dispersés dès la fin du XVIe siècle et dont une partie forme le fonds primitif de la bibliothèque municipale et du musée des Beaux-Arts.
Le palais Granvelle a été restauré en 2002. Il accueille depuis cette date le musée du Temps.
Architecture
Le palais Granvelle est constitué de quatre corps de bâtiment sur un sous-sol voûté en berceau qui délimitent une cour entourée d'un portique surmonté d'une galerie. Deux passages mènent à cette élégante cour intérieure angulaire, bordée d'arcades en anse de panier et une fontaine en marque le centre. L'escalier d'honneur s'inscrit dans une tour carrée au dernier étage occupé par un oratoire. C'est un véritable joyau de la Renaissance (XVIe siècle), avec son imposante façade d'influence italienne et flamande, comportant trois niveaux et cinq travées surmontée d'un toit et percé de trois lucarnesgothiques.
Les communs, remise, écurie, grande écurie sont disposés en délimitant deux cours. L'orangerie située dans l'aile sud du palais donne sur le jardin, prolongé par un verger devenu jardin public[2].