En 1562 il est nommé parmi les chefs militaires huguenots et dirige le sac de la cathédrale de Viviers.
Après la paix d'Amboise il reprend ses activités commerciales jusqu'en 1567. La paix de Longjumeau refusant de donner des places de sûreté aux protestants, il s'oppose au roi. Il capitule, arrêté, il a été jugé par le parlement de Toulouse, condamné et décapité en 1568.
L'hôtel a été construit après l'achat de plusieurs maisons de part et d'autre de la rue de la République au XVe siècle. Un passage a été réalisé au-dessus de la rue de la République permet de relier le corps principal des bâtiments à une pièce qui a dû être une chapelle. Sur ce passage on voit des éléments de façade en réutilisation de décors plus anciens d'inspiration gothique : linteaux avec arcs trilobés, bandeaux avec des figures humaines et d'animaux en haut-relief.
Noël Albert a fait réaménager les différentes maisons qu'il a achetées pour en faire l'hôtel actuel entre 1545 et 1560. Les archives nous permettent de connaître quelques dates et les intervenants :
: contrat avec Loys Pic, dit Grinham, de Pont-Saint-Esprit, pour la façade ;
: contrat avec Claude Thomas pour la construction d'une cheminée ;
: contrat avec Georges de Vissieux pour la construction d'un escalier en vis ;
: achèvement de l'escalier et construction de deux galeries sur cour.
La façade principale sur la place est à quatre niveaux couronnés par une génoise. Le décor est fait d'une superposition des ordres dorique, ionique et corinthien.
Sous les fenêtres, on peut voir au premier étage des personnages en haut-relief dans des médaillons, au second étage des frises représentant des combats de chevaliers, au troisième étage des rinceaux.
L'ensemble de la maison de chevaliers.
Le passage couvert réunissant la maison à l'ancienne chapelle, au-dessus de la rue de la République.
Maison des Chevaliers.
Porte avec décor de style dorique.
Maison des Chevaliers - Chapiteaux de l'ordre ionique.
Maison des Chevaliers : une fenêtre du premier étage.
Maison des Chevaliers - Médaillon en haut-relief du premier étage.
Décor du corps de passage au-dessus de la rue de la République.
Marc Pabois, L'hôtel Noël Albert à Viviers, p. 375-379, dans Congrès archéologique de France. 150e session. Moyenne vallée du Rhône. 1992, Société française d'archéologie, Paris, 1995
Yvonne Leclère (sous la direction de Dominique Buis, Marie-Jo Volle, Nathalie Garel), Les papiers peints de Jean-Gabriel Charvet dans la Maison des Chevaliers à Viviers : in Peindre l'Ardèche, Peindre en Ardèche - de la préhistoire au XXe siècle, Privas, Mémoire d'Ardèche et Temps Présent, , chap. 2 (« Peintres du Vivarais, Peintres d'Ardèche »)
Yves Esquieu, Christian Trézin et Martine Vasselin, La Maison des Chevaliers. Une demeure dans son histoire à Viviers, Lagorce, Editions du Chassel, , 328 p. (ISBN979-10-90929-10-4)
