La maison est principalement construite au XVIe siècle, incorporant des parties d'un bâtiment médiéval détenu par les abbés de Bury St Edmunds qui était utilisé depuis avant 1065. Il a des racines similaires à Kentwell Hall à proximité.
Après la dissolution des monastères et il est accordé par la reine Mary à Sir William Cordell. De Cordell, il passe par sa sœur à Thomas et Mary Savage avant d'être revendu à une autre lignée masculine de Cordell.
James Howell décrit la maison et le jardin à l'époque d'Elizabeth Savage, comtesse Rivers dans une lettre en 1619 [1].
Au cours des émeutes de Stour Valley en 1642, la maison est attaquée et endommagée par une foule anti-catholique. En 1786, elle est vendue à Sir Harry Parker, 6e baronnet, fils de l'amiral Sir Hyde Parker, 5e baronnet.
Beatrix Potter est une cousine de la famille et visite fréquemment la maison à partir des années 1890.
Une aile de la maison est détruite par un incendie en février 1942 mais reconstruite après la Seconde Guerre mondiale, en conservant la maçonnerie extérieure Tudor avec un design intérieur des années 1950.
La maison est ouverte au public pour la première fois en 1955 par Ulla, Lady Hyde Parker. En 1960, elle passe au National Trust.
Les terrains du domaine accueillent un certain nombre d'événements, dont la "Big Night Out" chaque novembre pour marquer la nuit de Guy Fawkes[2] et à partir de 2013, le festival annuel de musique LeeStock [3].