Slottet användes även som fängelse och från 1518 till september 1519 satt Gustav Vasa fånge här. Bland andra fångar fanns Bodil Hoffuens och Søren Quist. Kung Fredrik III skänkte 1661 slottet till Ulrik Frederik Gyldenløve. Det kom åter till kronan 1670 för att 1672 gå tillbaka till Gyldenløve. Slottet hade då förlorat sin försvarsmässiga betydelse och Gyldenløve lät bränna ner det. En del av byggmaterialet gick till bygget av Charlottenborg.