La primera referència històrica data dels temps de sant Columba, en la segona meitat del segle vi, amb una probable menció en La Vida de Columna d'Adamnan de lona.
Es registra la seva existència a principis del segle xiii. La zona se li havia concedit a la família Durward el 1229 i aquesta va ser, probablement, qui va construir el castell que es coneix avui en dia.
Sir Robert Lauder era el senyor del castell el 1329 i el seu net Robert el va succeir el 1359. A mitjan segle xv, va ser capturar per la corona anglesa, però fou recuperat poc després. El 1509, va ser concedit als Grant, que el van conservar fins al 1912. Durant aquest període, els MacDonald el van capturar el 1545 i, més tard, va ser capturat per una tropa de "covenanters" el 1644.
El castell va ser parcialment destruït el 1692 pels anglesos, per evitar que fos capturat i mai va ser reconstruït.
Actualment, és propietat del Patrimoni Nacional Escocès i és el tercer lloc més visitat d'Escòcia. Des del 2001 té un centre de visitants.
