Under kong Fredrik II ble klosteret gjort om til et kongelig slott, og han døde her i 1588. I 1584 var ombyggingen – kirketårnet ble utstyrt med et svært høyt spir - var såpass fullført at herredagen kunne avholdes der i juli. Deretter lot kong Frederik sønnen, den senere Christian 4., hylles i Ringsted. Prinsen gikk på skolen i Sorø fra august 1584, og kongen ble boende på Antvorskov en stund for å holde øye med oppdragelsen hans. I april 1585 fikk Frederik 2. vedtatt et forbud mot omtale av Antvorskov som et «kloster» eller som noe annet enn «slott». Skulle noen glemme seg, måtte de bøte en levende okse.[3]
Etter Frederik 2.s død ble Antvorskov gjort om til et kongelig len, som Frederik IV senere endret til et grevskap til sin elskerinne Elisabeth Helene von Vieregg. Da hun døde, gikk grevskapet tilbake til kronen.
I perioden 1717–1763 var Antvorskov et av Danmarks 12 rytterdistrikter. Inntektene fra disse distriktene var det økonomiske grunnlaget for hæren, og soldatene ble innkvartert på det gamle slottet. I 1774 ble Antvorskov delt inn i ni herregårder.