Bag bagerdammen lige op mod slotsparken ligger den lille, uanseelige bygning, der bærer det storklingende navn: Kejserens Villa.
Det var 20. oktober 1885, at Kejser Alexander 3. af Rusland købte huset, der dengang hed Svalereden. I begyndelsen gik rygterne på, at han ville give huset i bryllupsgave til Prins Valdemar. Så hed det sig, at det skulle være bolig for russiske opdagelsesbetjente under Kejserens besøg i Fredensborg. Heller ikke det viste sig at være rigtigt. Villaen stod i flere år og syntes næsten at gå i glemsel, indtil renoveringen begyndte. Kvistene blev hævet til tagryggen og huset fik flotte udskæringer på gavle og kviste. Man kunne næsten sige at huset blev russificeret, på trods af at stilen i dag kendes som schweitzerstil. Og husets placering højt på skrænten med de markante granitblokke leder da også tankerne hen på Schweitz. Men russisk var ejeren og familien, der 1. oktober 1889 indviede deres egen villa, som Dagmar (kejserinde af Rusland) kaldte: Vort kære miniature Gatchina.
Huset blev møbleret af C.B. Hansen, ikke overdådigt, men ganske net og smagfuldt, så at enhver kunne flytte derind uden at føle sig generet af kejserlig luksus.
Kong Christian 9. og Dronning Louise samlede alle deres børn og svigerbørn i Fredensborg. Kejser Alexander d. III havde nu sin egen bolig i Fredensborg.
Alexander var så glad for villaen, at han lod det indgå i det Fabergéæg, han i påsken 1890 gav Kejserinde Dagmar. Ægget hedder på engelsk: "Danish Palaces egg". Tredje billede i fabergéægget viser Kejserens Villa.
17. september 1891 holdt Zar Alexander III en familiefest i huset, måske en forsinket fødselsdagsfest for svigermor, Dronning Louise. I køkkenet gik han selv med Kronprins Frederiks døtre: 16-årige Louise, 13-årige Ingeborg og 11-årige Thyra. De fire lavede mad, dækkede bord og bød familien velkommen. Den bestod af Kong Christian 9. og Dronning Louise; Frederik 8., Louise og deres sønner Christian 10., Carl, Harald og Gustav; Prins Valdemar og Prinsesse Marie med prinserne Aage og Axel; Willie og Olga med Marie, George, Nicholas og Christopher; Prinsessen af Wales med George, Victoria, Maud, Louise og hendes mand Hertugen af Fife; Prins William og Prins Hans; Kejserinden, Dagmar og hendes børn: Nicholas, Michael, Xenia og Olga.
I samme år 1891 havde tre unge mennesker: Nicky, Georgie og Harry set, at man på Fredensborg Slot indgraverede navne i glas. Stærkt inspireret heraf gik de tilbage til Kejserens Villa og ridsede deres navne i orangeriet. Den revnede rude sidder samme sted i dag. Nicky blev den sidste zar af Rusland: Zar Nicolai d. II, Georgie blev konge af England: Konge George d. 5 og Harry blev Dronning af Norge. Harry var prinsessen af Wales' kælenavn. Maud var hendes rigtige navn.
De havde mange somre i Fredensborg, men efter Zar Alexanders pludselige død i 1894, vendte Dagmar aldrig tilbage til sit kære miniature Gatchina. Dagmar ønskede dog, at Kejserens Villa skulle stå til evigt minde om de jernbånd kong Edward og zar Alexander smedede under husets ydmyge tag.
På et tidspunkt gik rygterne, at Olga ville flytte dertil med sin familie. Det skete aldrig. Efter Dagmars død i 1928 arvede storfyrstinde Olga huset og det blev d. 10. juni 1929 solgt for kr. 14.000 til Otto Aggerholm. En del billigere end de kr. 25.000 Zaren selv gav. I 1967 købte Børge Svendsen huset og solgte det to år efter til Christian Rørdam.
1. oktober 2010 overtog de nuværende ejere huset præcis 121 år efter, zarfamilien indviede det. De nye ejere påtænker at renovere det ned til mindste detalje.
Huset har iflg. SAVE-systemet bevaringsværdien 2. I november 2016 indstillede Landsforeningen for Bygnings- og Landskabskultur Kejserens Villa til fredning hos Slots- og Kulturstyrelsen. I oktober 2022 åbnede Slots- og Kulturstyrelsen sagen og lukkede den hurtigt igen. I afgørelsen om at Villaen ikke skal fredes skrives der: "Der er ingen kulturhistoriske fredningsværdier i Kejserens Villa".
