L'édifice a été construit par l'ingénieur José Fernando Pinto Alpoim au début du XVIIIe siècle et acquis en 1765 par Francisco Xavier de Carvalho qui a fait don de la propriété à l'évêque D. Frei Antônio do Desterro, chargé de transformer le siège en séminaire en 1873[5],[6],[7].
En 1891, son nom a été changé en Séminaire São José, une institution qui a perduré jusqu'aux années 1980, date à laquelle il a été acquis par la Fondation Roberto Marinho et qui lui appartient toujours aujourd'hui[8].
En 2002, la Fondation Roberto Marinho s'installe dans le bâtiment[8],[9]. En plus des activités philanthropiques et culturelles, le bâtiment est utilisé pour certains des studios de Canal Futura [8].
Malgré le processus d'inscription par l'Instituto do Patrimônio Histórico e Artístico Nacional (IPHAN) en 1938, lorsque la Fondation Roberto Marinho a acheté le bâtiment, le lieu avait un aspect d'abandon et la Fondation a dû restaurer et récupérer une bonne partie du manoir[8].