Det ble erobret av franskmennene i 1686 og av dem kalt Fort Sainte-Anne. Et forsøk på å gjenerobre faktoriet slo feil i 1688, men et nytt forsøk i 1693 var fremgangsrikt.
Fort Albany var mellom 1697 og 1713 den eneste handelsstasjonen ved Hudson Bay som forble under engelsk kontroll. Den fortsatte siden som en betydelig handelsstasjon for pelshandelen.[1]
Fort Albany var det mest velbefestede av Hudson Bay Companys faktorier, med 43 kanoner, tømrede feltverk og fire kanonbastioner.[2]
