Gården nævnes første gang i 1405, da Predbjørn Podebusk skriver sig til Egholm. Men arkæologiske udgravninger ved Nationalmuseet i 1960 har påvist, at den ældste bygning på holmen er rejst i 1200-tallet. Det er en velbevaret muret kælder fra et beboelseshus og spor af flere bygninger. Midt på holmen har sandsynligvis stået et forsvarstårn, anlagt på det højeste punkt. Holmen har været omgivet af vand, som fremkom ved at man byggede en dæmning over en bæk et par kilometer mod vest. Dæmningen findes endnu. Her krydser vejen mellem Nørre Hyllinge og Vellerup ådalen. Bækken bærer navnet Vejle Mølle Å, fordi der har ligget en vandmølle her i udløbet (vejlen).
Egholm har senere fået en donjon, dvs. en gotisk bygning til både forsvar og bolig med mure op til 4 meter tykke. Samtidig med dette anlæg har der været et tårn med vindebro, hvorfra man har kunnet komme ind på fast land. Broens stolper kan have givet forstavelsen "Eg" til herregårdens navn, "Egholm".
Engang i 1400-tallet er hele dette anlæg forsvundet, men i renæssancen opførtes en ny hovedbygning, som i 1764 i PontoppidansDanske Atlas beskrives som Egholm. En ypperlig og ældgammel grundmuret Gaard med 4 Taarn-Spidser. Allerede året efter denne beskrivelse lod Frederik Christian Rosenkrantz huset rive ned. Sagnet fortæller, at han (Frederik Christian Rosenkrantz) skød dette slot i stykker med kanoner, angiveligt som en hævnakt, fordi han her var blevet hårdt revset af faderen i sin barndom.
Først i 1841 fik Egholm igen en hovedbygning. Da lod godsejer Wolfgang von Haffner bygge det nuværende hus i klassicistisk stil midt på den gamle borgbanke.
Herregården har skiftet ejer mange gange og ejes i dag af Ole Falck. Herregården er under det fiktive navn Egborg centrum i den danske film Pigen fra Egborg fra 1969. Desuden finder man Egholm i tredje afsnit af DR's dramaserie Livvagterne, hvor slottet indgår som det fiktive gods Karenlund i Østjylland. Slottet, og tilhørende jagtstue indgår også i filmen Klassefesten 2 Begravelsen fra 2013.
På gården er indrettet et privat museum med bl.a. våben og effekter fra anden verdenskrig. Museet har eksisteret siden 1990.[1]
Blandt de udstillede genstande er den [[[Mercedes-Benz Typ 320]], som den tyske SS-ObergruppenführerReinhard Heydrich blev dødeligt såret under et attentat i Prag i 1942.[2]
.svg)
