Na konci 11. storočia alebo začiatku 12. storočia tu rytier Ridel d‘Azay, feudálny pán, ktorý kvôli svojej ukrutnosti získal pochybnú povesť, vybudoval pevnosť a dal meno tomuto mestu i zámku.
4. júla1189 sa hrad z Azay zapísal do anglicko-francúzskych dejín. Francúzsky kráľ Filip II. August a anglický kráľ Henrich II. tu podpísali dohodu o skončení vojny a dohodli sa na spoločnej účasti na tretej križiackej výprave. Henrich II. o dva dni zomrel a tak sa miesto neho výpravy zúčastnil jeho nástupca Richard I.