Pierwsze ślady budownictwa na terenie późniejszego zamku pochodzą z roku 830, kiedy opat Hilbold z klasztoru Saint-Philbert zlecił budowę castrum (średniowiecznej konstrukcji obronnej, wzorowanej na obozach warownych z czasów rzymskich). Celem warowni była ochrona mnichów oraz ludności wyspy podczas najazdów wikingów.
Murowana zabudowa zamku powstała w XII wieku z inicjatywy miejscowego feudała, który dzięki wzmocnieniu obronności chciał ustabilizować region, a w szczególności uchronić go przez grabieżami ze strony Normanów. W tamtym czasie wyspa znajdowała się pod panowaniem baronów z La Garnache. Donżon został wybudowany przez Piotra IV z La Garnache. W późniejszym okresie niższy dziedziniec otoczono murem wyposażonym w baszty.
Podczas rewolucji francuskiej zamek pełnił funkcję więzienia wojskowego. W wieku XIX zamek służył jako koszary. W roku 1871, w okresie Komuny Paryskiej, więziono w nim powstańców.
Architektura
Donżon znajdujący się w centralnej części zamku jest zbudowany na planie prostokąta i cechuje się zwartą architekturą. Został zbudowany z gruzu. Posiada trzy piętra; na najwyższym znajdowała się rezydencja właściciela zamku. W zabudowie donżonu znajdują się liczne mordownie (pułapki). Na rogach budowli wzniesiono baszty obronne. Zewnętrzne fortyfikacje są postawione na planie prostokąta. Składają się z dwóch wież, bramy wjazdowej oraz wieżyczek obserwacyjnych rozmieszczonych w wierzchołkach prostokątnego muru.
Z początkiem XVIII stulecia odnowiono wieże, a donżon przystosowano do potrzeb artylerii.
Château de Noirmoutier jest obecnie własnością gminy. Znajduje się pod opieką francuskiego ministerstwa kultury.
