Rimljani su za vladavine caraKonstantina Velikog izgradili utvrduPonts Novatus na brdu - Sibrik, kao najznačajniju građevinu u kompleksu svog dunavskoglimesa.
Pored tog Rimljani su izgradili i utvrdu Gizella major oko 330. i osmatrački toranj na lokalitetu Szentgyörgy puszta.[2]
Nakon što su se Ugari naselili u tom kraju, kraj oko Visegráda postao je feudKursana, koji je uz Arpada bio tadašnji lider ugarskih plemena.
Mjesto je prvi put dokumentirano 1009. pod svojim slavenskim imenom - Visegrád, što je značilo zamak - akropola na visokom mjestu.[2]
Prva srednjovjekovnautvrda u Višegradu podignuta je na temeljima kastruma, tako da je korišten i njegov kamen, ona je srušena za invazije Mongola.
Kompleks utvrda čije ostatke vidimo danas, sagrađen je za vladavine Bele IV i njegove žene kraljice Marije polovicom 13. vijeka. On se sastoji od citadele na brdu visokom 328 m, donjeg zamka položenog na brežuljku ispod citadele, i bastiona pored dunavskeobale.[2]
Sretni dani Visegráda trajali su do osmanske invazije na Mađarsku u 16. vijeku, dobar dio utvrda i naselje razoren je za vrijeme njegova zauzimanja, pa se stanovništvo raselilo. Preostale ostatke razorila je - 1702. vojskacaraLeopolda I.[2]