Bereits seit 1820 war diese Bucht bei Robbenjägern bekannt und hieß zu diesem Zeitpunkt Port Williams nach der gleichnamigen Brigg des englischen Seefahrers William Smith, des Entdeckers der Südlichen Shetlandinseln. Der Name Yankee Harbor wurde ihr von amerikanischen Robbenjägern verliehen. Wenig später jedoch setzte sich die heutige Benennung durch. Namensgeber ist der britische Polarreisende Henry Foster (1796–1831), der in dieser Bucht 1829 geomagnetische Untersuchungen durchführte.