Akademia została wzniesiona w 1306 roku, za panowania cesarza Chengzonga z dynastii Yuan[3]. Pełniła swoją rolę aż do upadku monarchii w 1911 roku, kilkukrotnie ją przebudowywano[4]. Obecnie jest jedyną zachowaną akademią z czasów cesarstwa[1].
Cały kompleks obejmuje powierzchnię 37 000 m². Centralną oś dzieli go na dwie symetryczne części[4]. Ma dwie bramy, Jixian i Taixue. Brama Taixue, zbudowana w 1783 roku, ma trzy przejścia i pokryta jest u góry żółtą dachówką[4]. Za nią znajduje się główny budynek kompleksu, pawilon Biyong. Otoczony jest okrągłą sadzawką, przez którą prowadzą cztery mostki[2]. Kwadratowy budynek ma wymiary 17,7×17,7 m[4]. Wewnątrz tego pawilonu cesarze udzielali wykładów[1]. Na terenie akademii znajduje się również 189 kamiennych stel, na których z polecenia cesarza Qianlonga wyryto tekst 13 klasycznych dzieł literackich[5].
