Antes da chegada dos primeiros colonos e navegadores ingleses, o Cabo Ann estava habitado por vários povoados de índios nativos da tribo dos Agawam. Samuel de Champlain chamou à península "Cap Aux Isles" em 1605, e desembarcou ali brevemente. Quando os primeiros colonos se assentaram permanentemente em 1623, a maioria dos habitantes nativos tinham perecido pelas doenças contagiosas transmitidas pelos europeus.[3]
A zona que compreende Rockport esteve despovoada durante mais de 100 anos, sendo utilizada pelos habitantes de Gloucester como fonte de madeira para a construção de barcos. Em 1743 construiu-se um berço em Sandy Bay, e utilizou-se para o comércio da madeira e a pesca. A começos do século XIX começaram-se a explodir as primeiras pedreiras de granito. Em 1830, a pedra era exportada para todas as cidades ao longo da costa Este dos E.U.A.
Enquanto Gloucester desenvolvia-se como centro urbano, o povoamento de Rockport permaneceu como um pequeno porto pesqueiro que albergava alguns povoados e vilas de verão. Em 1840, constituiu-se como povoamento independente. Durante a revolução industrial, a grande demanda de granito impulsionou enormemente a criação de novas pedreiras e a sua posterior comercialização. Muitos imigrantes da Suécia e Finlândia estabeleceram-se no povoamento, já que eram pedreiros experientes.[4]
A demanda de granito diminuiu notavelmente durante a Grande Depressão, mas Rockport configurou-se um refúgio de artistas, atraídos pelas suas praias de seixos e rochas, as barracas dos pescadores, o porto com os barcos fundeados, e o facto de que Cabo Ann tinha sido imortalizado por Rudyard Kipling em "Capitães intrépidos". Um armazém de madeira de cor vermelha no berço de Bradley, conhecido como "Motivo número 1" tem sido modelo para infinidade de quadros primeiramente, e atualmente para a fotografia.[5][6]
Actualmente, o povoamento é sobretudo uma zona residencial e centro turístico pela suas praias rochosas e seu passeios marítimos ao lado do oceano Atlântico, ainda que ainda vivem nele um verdadeiro número de pescadores de lagosta e artistas.[7]
