Detalje af kort fra 1809, der viser resterne af de to grave omkring borg og ladegård.Rygård set fra vest, tegnet af Valdemar Koch i 1883.Trappetårnet ved nordfløjen, som maleren Georg Seligmann så det i 1906.
I 1590-erne blev der tilføjet to runde trappetårne i borggården. De blev opført på foranledning af Niels Bild til Ravnsholt, der ved at gifte sig med Christoffer Urnes datter Margrethe var kommet i besiddelse af Rygård i 1582. I 1658 blev Rygård hærget af svenskerne.
Såvel borgen som den tilhørende ladegård var oprindeligt omgivet af dybe voldgrave. I 1690 var der stadig en vindebro som adgang til komplekset, men den blev senere afløst af en dæmning. På et kort fra 1809 kan man se aftegningen af de to grave omkring borg og ladegård. I 1876 begyndte Kunstakademiet at opmåle vigtige danske bygningsværker. Man startede med Kronborg, og i 1882 var et hold arkitekter på Rygård. Resultaterne fra Rygård blev sammenfattet i en beskrivelse i Architekten i 1903 og indgik ligeledes i bogen Danske Herreborge fra det 16de Aarhundrede, udgivet i 1904 med tekst af Francis Beckett. [1]
