Jadis sis sur les terres du fief de l'Hôtel-Fort, le domaine seigneurial se déplace en 1622 à l'emplacement du château actuel, au lieu-dit La Varenne, où François Ours Miron, conseiller du roi, se fait construire une nouvelle demeure[1].
Le domaine passe à la famille de Frémont d'Auneuil en 1696. Celle-ci fait reconstruire le château sans doute dans la décennie 1750-1760[2]. En 1756-1757, Adrien Robert de Frémont d'Auneuil (1710-1792), marquis de Charleval et de Rosay, entreprend de dégager la perspective axiale du château[3].
En 1760, celui-ci est acquis par Étienne de Silhouette (1709-1767), ancien contrôleur général des finances de Louis XV. Celui-ci poursuit les travaux de transformation du château en faisant appel à un architecte qui n'est pas, comme on l'a longtemps cru, Jean-Baptiste Bullet de Chamblain[4], mais François II Franque, qui adresse au nouveau propriétaire, en 1764, un projet d'agrandissement par adjonction d'une aile[5]. Le corps central est alors reconstruit, doublé en profondeur, agrandi par deux ailes symétriques selon un plan en H, et entouré d'une cour anglaise[3]. L'édifice « est caractéristique de Franque par l'animation de ses volumes et les deux rotondes qui rattachent les ailes au corps central. »[6]. Silhouette installe au château sa bibliothèque, riche de 7 000 volumes[7].
Après la mort d'Étienne de Silhouette, qui décède au château en 1767, les travaux sont poursuivis et achevés par son cousin et héritier, le fermier généralClément de Laage. Celui-ci monte sur l'échafaud en 1794 avec les autres fermiers généraux et le château est confisqué comme bien national. Son fils, Philippe de Laage, le rachète en 1799. Charles-Maurice de Talleyrand-Périgord le loue entre 1803 et 1808.
En 1816, Philippe de Laage cède le château de Bry au baron Louis, plusieurs fois ministre des Finances sous les deux Restaurations et la monarchie de Juillet. À sa mort, en 1837, sa considérable fortune est partagée entre ses neveux et nièces, issus du mariage de sa sœur, Perpétue, avec Jean-François Gaulthier de Rigny. Le château de Bry échoit à Geneviève Gaulthier de Rigny (1776-1857), puis, à la mort de celle-ci, aux deux filles issues du mariage de son frère cadet Auguste Édouard Gaulthier de Rigny (1785-1842) avec sa nièce Amélie Charlotte Élisabeth de Bassompierre (1793-1855). Celles-ci le vendent en 1858 à François Jules Devinck, industriel du chocolat et homme politique. Celui-ci procède au lotissement du parc[8].
Le château est fort endommagé pendant la guerre de 1870 : il est incendié et en partie détruit le par l'artillerie française, qui le bombarde depuis le fort de Nogent car il sert de lieu de rendez-vous pour des officiers prussiens. Il est reconstruit après la guerre, les murs ayant été préservés de l'incendie, mais cette reconstruction altère le volume des ailes et modifie l'épiderme des façades[3]. Ne subsistent du décor intérieur du XVIIIe siècle qu'un ensemble de quatre dessus-de-porte représentant les saisons attribués à Jean-Henri Keller (1692-1765)[7] ainsi qu'un ensemble de quatre bas-reliefs en stuc[7].
En 1903, le château est transformé en une institution de jeunes gens par Eugène Robert[8], professeur au collège Albert-de-Mun. Le , le château est acquis par la congrégation des Sœurs de Saint-Thomas de Villeneuve qui le transforme en école catholique et fait construire une chapelle contre la façade antérieure[8].
Propriétaires successifs
avant 1760 : Adrien Robert de Frémont d'Auneuil, marquis de Charleval et Rosay, brigadier des armées du roi
↑En 1762 selon Adrien Mentienne (in : Histoire de Bry-sur-Marne des temps préhistoriques au XXe siècle, 1916), qui ne donne ni preuves ni sources à l'appui de cette allégation
↑Michel Gallet, Les Architectes parisiens du XVIIIe siècle : Dictionnaire biographique et critique, Paris, Éditions Mengès, , 494 p. (ISBN2-85620-370-1), p. 210
↑Joseph Favier (1814-1886) fait carrière en Italie dans l'industrie naissante du gaz d'éclairage. Fortune faite, il rentre en France en 1879, avec son épouse Elvira Tozzi, et acquiert le château de Bry-sur-Marne. (Source : Joseph Favier sur fr.topic-topos.com)
M.-A. Férault, « Une œuvre inconnue de François II Franque, le château de Bry-sur-Marne », Bulletin Monumental, vol. 149, no 3, , p. 299-330 (lire en ligne)