C'est autour de cette baie, notamment au sud de celle-ci à l'emplacement actuel de Circular Quay, que le capitaine Arthur Phillip, à la tête de la First Fleet (« Première flotte »), prit possession de l'Australie le et fonda la ville de Sydney (évènement commémoré depuis par le Australia Day). Les premières construction de grès furent édifiées par les européens sur le côté ouest donnant naissance à The Rocks, le plus ancien quartier de la ville.
