Elėjos vardas žinomas nuo X a. Elėjos dvaras įsteigtas XVI a., kai teritoriją valdė Kuržemės hercogo vietininkas Georgas fon Tifenhauzenas. 1633 m. netoliese pastatyta Sesavosliuteronų bažnyčia. 1716–1753 m. dvarą valdė Berai, 1753–1920 m. Medemai. 1780–1800 m. didžiulio dvaro parko viduryje Elėjos dvaro valdytojas Kristofas Johanas fon Medemas (Kristofs Johans fon Mēdems), pasikvietęs tuo laiku populiarius architektus Džakomą Kvarengį, Karlą Fridrichą Šinkelį ir Johaną Georgą Berlicą pasistatė puikius ampyro stiliaus dvaro rūmus. Iš dvaro iki šių dienų liko tik dvaro valdytojo namas ir klėtis bei parko mažoji architektūra – rotonda ir arbatos paviljonas. Rūmus I pasaulinio karo metais sudegino rusų kariuomenė, iki šių dienų liko tik dvaro mūrų fragmentai. Per 1915 m. gaisrą sudegė ir kiti 17 dvaro pastatų.