La torre fue erigida en el islote Tortuga, el antiguo lugar de pesca del rey Le Thanh Tong.[1] Bajo la restaurada dinastía Le (siglos XVII y XVIII), los señores Trinh construyeron el Templo Ta Vong sobre el islote, que desapareció durante la dinastía Nguyen.
Después de que los franceses conquistaron la ciudadela de Hanói, la mayoría de la población de los alrededores del lago huyeron. Funcionarios vietnamitas también huyeron de sus oficios. Se quedó sólo Nguyen Ngoc Kim, quien era el mediador entre las tropas francesas y vietnamitas.