A Casa do Mandarim foi construída em 1869 (no oitavo ano do reinado do imperador Tongzhi) por Zheng Wenrui, o pai de Zheng Guanyin. Zheng Guanying e seus irmãos continuaram a projetar e ampliar a residência. O complexo residencial foi construído com base no estilo de Cantão, sendo conhecido por sua fusão com os elementos arquitetónicos ocidentais.
Entre as décadas de 1950 e 1960, a família Zheng mudou-se e a residência foi arrendada para mais de trezentas pessoas.
