Na območju dvorca Brdarci je imelo turjaško gospostvo do leta 1467 devet hub. Grofica Barbara Kacijanar, lastnica dvorca Pusti Gradec je leta 1635 kupila petnajst hub in leta 1641 zgradila dvorec Brdarci. Lastnik dvorca je bil tudi ritmojster hrvaške kompanije Matej Plasmann, kateri je padel v boju s Turki. Dvorec je bil porušen leta 1907.
Legenda
Po legendi naj bi bližnji dvorec Pusti Gradec napadli in osvojili Turki. Graščaki pa so skozi skrivni rov prebegnili na močneje utrjen dvorec Brdarci, kateremu domačini pravijo grad Meta.