Het waren dan ook de Portugezen die er de eerste forten bouwden. Het eerste fort dat werd gebouwd was Sint George (beter bekend als Elmina Castle), in 1526. Later hebben Nederlanders, Engelsen, Zweden, Denen, Duitsers, Fransen en Koerlanders forten veroverd of zelf gebouwd. Bijna al deze forten werden gebruikt om slaven uit de binnenlanden te halen en naar Amerika te voeren om het zware werk te doen.
In 1637 veroverde Johan Maurits van Nassau-Siegen het fort (São Jorge d') Elmina op de Portugezen. Dit ging echter niet zonder slag of stoot, er waren drie pogingen aan voorafgegaan tot de Portugezen het uiteindelijk opgaven. De komende eeuwen zou dit fort een van de centra van de slavenhandel van de West-Indische Compagnie vormen. Naast Elmina bezaten de Nederlanders nog een aantal andere factorijen aan de Goudkust. Dit gebied moet niet verward worden met de Slavenkust waar de WIC ook enkele forten en factorijen had.
De WIC veroverde en bouwde een groot aantal forten langs de Goudkust. Zij gebruikte die om met de bevolking te handelen in inheemse producten, maar vooral ook om slaven uit het binnenland te halen die ze naar de slavenmarkt op Curaçao vervoerden. Daar werden ze gekocht door handelaren, die ze onder andere in Suriname weer aan plantagebeheerders verkochten.
Bij het Sumatra Verdrag van 6 april1871 werden de Nederlandse factorijen aan de Goudkust voor 47.000 gulden verkocht aan de Britten. In ruil hiervoor kreeg Nederland de verzekering dat de Britten niet zouden ingrijpen in de pogingen om Atjeh in het noorden van Sumatra te veroveren.
Net als Nederland verkocht ook Denemarken zijn forten aan het Verenigd Koninkrijk en werd het een onderdeel van de Britse Goudkust. Dit deden ze in 1850 voor 10.000 pond sterling.
Portugese Forten
Portugal was het land dat de Goudkust had ontdekt en als eerste forten had gebouwd. De forten van Portugal waren:
Gouverneur J. Philippus von Krusenstierna, 1656 - February 1658.
Commandeur Tonnies Voss, 16 - 20 april 1663.
De overgebleven forten van Zweden (Chistiensborg en Carlsborg) werden in 1658 veroverd door Carloff; de andere forten waren al verloren aan Nederland.
Brandenburgse forten
In mei 1682 werd de Brandenburgse Afrikaanse Compagnie (Kurfurstliche Afrikanisch-Brandenburgische Compagnie) opgericht. Met het doel handel te realiseren aan de Goudkust. Toen Pruisen tot koninkrijk werd verheven werden de forten overgedragen en werden ze door Pruisen bestuurd. De naam werd vanaf toen de Pruisische Goudkust.
De Pruisische Goudkust ontstond door het overnemen van de Brandenburgse bezittingen, daarnaast stichtte Pruisen zelf nog enkele factorijen. In 1717 werd - nadat de factorijen al opgeheven waren - ook als laatste fort Groß-Friedrichsburg veroverd door Nederland die het hernoemde in Fort Hollandia. In 1721 kocht Nederland officieel de rechten op de kolonie.
