Sa construction commença en 1862 après l'achat des terres de la famille Willets par le gouvernement fédéral en 1857. Il avait pour but de doubler le fort Schuyler(en) qui verrouille l'approche du port de New York par l'East River. Il reçut son nom en 1898 en hommage au général et ingénieur militaire Joseph Gilbert Totten. Il fut renforcé d'une nouvelle batterie d'artillerie dans le cadre du programme Endicott avant d'être largement désarmé en 1935, étant supplanté par les défenses côtières du Long Island Sound[3].
En 1954, dans le cadre du projet Nike, le fort devient le quartier général commandant les sites de défense antiaérienne de la région de New York. En 1966, le fort accueille les quartiers-généraux de la 1re région du commandement de la défense antiaérienne de l'armée (Army Air Defense Command(en)), du 41e bataillon de canons anti-aériens — ses canons étant éparpillés sur Long Island — et de la batterie D du 66e bataillon de missiles anti-aériens situés sur Davids' Island, dans le Fort Slocum (New York)(en).
La majorité du fort est devenu un parc public géré par le New York City Department of Parks and Recreation et accueille un musée retraçant son histoire [5]. Durant les mois d'hiver, il est possible d'observer des oiseaux migrateurs sur les eaux entourant le fort.
Une partie du site est utilisée comme centre d'entraînement par les départements de la police et des sapeurs-pompiers de la ville. Le site accueille également un complexe sportif.