I 1724 erstattede en større ombygning af fortet dets daværende tømmerkonstruktionen med de nuværende røde mursten. I 1874 blev udkigstårnet Tryborg og den nordlige del ødelagt, og klokketårnet blev bygget, samtidig med at mange lagerrum og kontorer blev ombygget til fængselsceller. Blandt andre plantageejere, der ikke havde betalt skat, blev fængslet i cellerne.
Den nederste del af fortet blev i 1971 ombygget til museum, mens den øvre del fortsat blev anvendt som politistation og fængsel. Fortet blev i 1977 udnævnt til et nationalt historisk landemærke.
Først i 1983 fik de indsatte og politiet nye lokaler, og en omfattende restaurering af fortet gik i gang.
