Kastel ini dibangun di tempat yang mudah dipertahankan secara alamiah karena diapit oleh lembah yang terjal. Bangunan ini konon sangat mengagumkan pada abad ke-12 hingga muncul legenda bahwa pembangunnya dibantu oleh peri Melusine.
Ilustrasi kastel ini pada puncak kejayaannya dapat dilihat dalam manuskrip Très Riches Heures yang diperintahkan pembuatannya oleh Jean, duc de Berri. Kastel ini merupakan tempat tinggal favorit Jean hingga ia meninggal pada tahun 1416. Setelah kematiannya, Lusignan sempat dimiliki oleh Jean Dauphin (meninggal Mei 1417) dan lalu diserahkan kepada saudaranya, Charles, yang kelak menjadi Raja Charles VII dari Prancis.
Setelah kastel ini sudah tidak digunakan lagi, batu-batunya diambil untuk keperluan lain, dan kastel ini pada akhirnya dihancurkan oleh Paul Esprit Marie de La Bourdonnaye pada abad ke-19.
