W XII wieku warownia została rozbudowana; w źródle z 1170 roku pojawia się wzmianka o „zamku Dimin” (łac.castrum Dimin). Najstarsza część zamku, cylindryczna ceglana wieża, której pozostałości istnieją do dzisiaj, jest datowana na około 1200 rok; jej ruiny są najstarszym zachowanym świeckim obiektem budowlanym na Pomorzu.
Zamek był rezydencją książąt dymińskich do śmierci ostatniego z nich, Warcisława III, zmarłego w 1264 roku. Później, gdy księstwo dymińskie zostało włączone do księstwa szczecińskiego, stał się siedzibą wójta książęcego; do końca XV wieku pełnił funkcję komory celnej na granicy między Pomorzem a Meklemburgią.
Na początku XVI wieku książę szczeciński Bogusław X przekazał zamek swojemu dworzaninowi, Peterowi Podewils, najpierw jako zastaw, a od 1512 roku jako lenno. W 1631 roku, w czasie wojny trzydziestoletniej, zamek spłonął; ocalała jedynie wieża, która w 1648 roku została wysadzona w powietrze przez Erika Dahlbergha, Szweda w służbie władz Pomorza Szwedzkiego. Miał on wówczas 23 lata i nosił swoje pierwotne nazwisko Erik Jönson; w późniejszym okresie został feldmarszałkiem armii szwedzkiej i twórcą szwedzkiej inżynierii wojskowej; jego osiągnięcia w dziedzinie sztuki fortyfikacyjnej zyskały mu przydomek „szwedzkiego Vaubana”.
W 2007 roku przeprowadzono prace zabezpieczające ruiny zamku.
Ruiny dworu z XIX wieku
Poza ruinami zamku książąt dymińskich na wyspie przy ujściu Tollense do Piany znajdują się również ruiny późnoklasycystycznego dworu wzniesionego w 1840 roku przez rodzinę Podewils; pod względem architektonicznym był on inspirowany przez francuskie pałace barokowe. W latach 1881–1945 dwór należał do rodziny von Rohr; w latach 1948–1986 mieściła się w nim szkoła z internatem. W 1998 roku uległ zniszczeniu w wyniku pożaru.