Kardinalen Ippolito II d'Este, sonen til Lucrezia Borgia og Alfonso I av Ferrara, kom til Tivoli den 9. september 1550 til Tivoli som guvernør for byen. Han var ikkje nøgd med den offisielle bustaden han blei tiboden i samband med stillinga, og valde difor for å byggja ein ny villa. Over dei neste 10 åra skaffa han arealet han trengde, og fekk bygd villaen med ein hage i skråninga nedanfor villaen. Utforminga er tradisjonelt tilskriven Pirro Ligorio, som dreiv arkeologiske utgravingar av den romerske Villa Adriana like i nærleiken.
Hagen
Hagen er laga med terrassar i skråningen nedanfor villaen, og nyttar fallet til fontener. For å skaffa vatn blei det laga ein viadukt frå Monte Sant'Angelo, og dessutan ein tunnel frå elva Anio. Vatnet blir brukt i ei stort tal fontener, som har gjeve hagen særpreget sitt og gjort han kjend over heile verda.
Midt i hagen er det ein statue av Herkules. Herkules var ein av gudane som hadde verna Tivoli, og var ifølgje historikarar frå 1500-talet ein av forfedrane til familien Este.
