Bygningen stammer sandsynligvis fra 1200-tallet, hvor den skotske kong Alexander 3. (1241 - 1286) tilbragte en del af sin barndom her. Siden gennemgik borgen flere ombygninger, og de nuværende ruiner stammer sandsynligvis fra en ombygning under David Leslies ejerskab i 1600-tallet og Sandilands-familien, som ejede det siden 1400-tallet via et ægteskab. Leslie var en prominent i den engelske og skotske brogerkrig. Han blev lord Newark efter krigene.
Sir William Burrell, der var skibsmagnat og samler af kunst og antikviteter, fattede interesse for borgen i 1800-tallet, og sir Robert Lorimer lavede en plan for restaureringen, men den blev aldrig fuldført, da ejeren, Mr. Baird fra Elie, ikke ønskede at sælge.
Borgen har været kendt under flere navne: Inverie, St Monans og St Monance, hvoraf sidstnævnte er den middelalderlige form af St Monan's.
