Der Name der Burg, die seit dem 11. Jahrhundert existiert, geht auf die legendäre Figur „Robert den Teufel“ zurück.[2] Die Legende könnte auf Robert I., von 1027 bis 1035 Herzog der Normandie und Vater von Wilhelm dem Eroberer, zurückzuführen sein.
Die Burg gehörte wohl zum Besitz der Herzöge der Normandie aus dem Haus Plantagenet. 1203 soll der englische König Johann Ohneland nach der Ermordung seines Neffen Arthur von der Bretagne in dieser Burg Zuflucht vor dem anrückenden französischen König gesucht haben. Mit dem Verlust der normannischen Stammlande 1204 an Philipp II. von Frankreich fiel die Burg in den Besitz der Kapetinger als Teil der Domaine royal.
