Hollufgård blev oprettet ved sammenlægning af bøndergårde ved rigskanslerJørgen Marsvin (død 1524) til Lindved. Hollufgård blev opført af rigsråd og stiftslensmandJørgen Marsvin (død 1581), til Hollufgård og Dybæk, af materialer, som kom fra Hjallese kirke. Året forinden, i 1576, havde Jørgen Marsvin fået kirken af kongen samt tilladelse til at rive den ned og genbruge materialerne til at bygge hovedbygningen på Hollufgård. Det er en enlænget bygning i 2 stokværk uden kælder. Eneste adgang til bygningen var det midterste trappetårn med en venstreløbende spindtrappe. Udover de tre tårne mod gårdsiden var der på sydsiden små hængetårne, svejfede gavle og karnapagtige udbygninger. De er senere forsvundet. Bygningen er i renæssancestil og består af et muret hus i munkesten med tegl og kobbertag, ligeledes i renæssancestil.
Oprindeligt omgivet af voldgrave, der i dag alle er tilkastet.
I 1829 foretog den daværende ejer Hans Langkilde en restaurering, hvor noget af det karakteristiske præg gik tabt. Han stod også bag opførelsen af gårdens markante hvidkalkede østfløj. Gården er omgivet af avlsbygninger og et stort park-anlæg med rester af den tidligere prydhave, i form af en sneglehøj, sandstensvaser samt væksthuse. I umiddelbar tilknytning til parken, ligger en velbevaret vandmølle.
I 1979 købte Odense Kommune stedet og jorden blev udstykket til boligområder. Gården blev lejet ud til det daværende Fyns Stiftsmuseum, der i dag kendes som Odense Bys Museer. Ideen var, at skabe et kultur- og museumscenter i naturskønne omgivelser for hele Fyn med museumsudstillinger, arbejdende værksteder, eksperimentel arkæologi samt formidling på et bredt plan. Et sted, hvor folk kunne få en meget omfattende kulturoplevelse. På Hollufgård fandtes desuden Danmarks eneste rekonstruerede hus fra bronzealderen. Dette er nedrevet i 2018.
I 2004 lukkedes Hollufgård for offentligheden, idet kommunen solgte hovedbygningen, to sidebygninger, en nyere bygning samt en staldbygning for 20,5 mio. kr. til Arkitektgruppen. En lille del af bygningsmassen ejes fortsat af Odense Kommune og anvendes som magasin for Odense Bys Museer. Det er planen, at også disse bygninger senere skal sælges. Siden 2004 har det internationale modefirma Day Birger et Mikkelsen haft hovedsæde i herregårdens hvidkalkede østfløj. Siden 2014 har IT-firmaet Infowise ApS haft hovedkontor i østfløjen.
Parken, som fylder en god del af den i alt 150 ha. store grund omkring Hollufgård, er stadig offentligt tilgængelig.
Gæsteatelier Hollufgård er en selvejende institution, etableret i 1982, hvis formål det er at stille værksteder til rådighed for billedhuggere og billedkunstnere. Institutionen virker som nationalt og internationalt kraftcenter for kunstnere generelt, og søger på denne måde fremme kunsten i Danmark, dels ved at stille gode arbejdsvilkår til rådighed for kunstnerne, dels ved at fungere som internationalt forum for inspiration og faglig udvikling.