L'hôtel de Beaudecourt est construit dans les dernières années d'Ancien Régime par Jeanne Delphine de Bedos-Campan (1750-1807), épouse de Pierre Baudecourt (1738-1818), bourgeois et rentier, fils du banquier protestant castrais Jean Abraham dit Job Baudecourt[1]. Elle acquiert pour cela en 1786 des terrains appartenant aux dominicains et fait réaliser le plan d'ensemble de l'édifice à l'architecte parisien Jean Philippe Prétrel (Prétel, Pétrel). L'hôtel tient donc son nom d'une ancienne famille de banquiers et de négociants castrais, leur patronyme, Baudecourt, étant devenu Beaudecourt au début du XVIIIe siècle[2]. Dès la fin de l'année 1793, le bâtiment, à peine terminé, est réquisitionné et converti pendant un an en centre de rétention pour femmes[3]. Le fils de la propriétaire ayant émigré, il est mis sous séquestre en octobre 1795, mais celle-ci peut le reprendre un an plus tard moyennant finances. Toutefois, après la faillite de la banque familiale, la situation financière des époux est devenue plus difficile..
Vendu en 1804 à Paul et Philippe Alby, négociants, l'hôtel redevient un lieu de réunion pour la bourgeoisie locale, abrite même pendant quelques années le sous-préfet[4]. Il est acquis en 1814 par le comte Charles de Milhau (1768-1835) qui le cède aussitôt à son cousin Augustin de Milhau (1793-1877). L'hôtel devient en 1845 la propriété de l'homme d'affaires Anacharsis Cumenge (1792-1870) qui le remet en état. Après la mort de celui-ci, il est vendu par sa veuve au ministère de la Guerre, qui y aménage la résidence du général commandant la 16e brigade d'artillerie et les bureaux de l'école d'artillerie de Castres[5]. Après la guerre 1914-1918, il abrite le mess du 115e RALH.
L'hôtel de Beaudecourt présente une longue façade sur deux étages s'ouvrant sur de larges jardins, séparées du jardin Frascaty par une rue. Deux ailes en arc de cercle viennent allonger cette façade.
L'ensemble a été remanié au XIXe siècle dans un style à l'italienne, et présente 8 328 m2 de terrain.