Первый замок на скале над рекой Нидд был построен нормандским бароном приблизительно в 1100 году. Существуют расписки, датируемые 1130 годом, о проведённых в замке работах по распоряжению короля Генриха I[3]. В 1170-х годах Хью де Морвиль и его люди укрылись здесь после убийства Томаса Беккета.
В 1205 году король Иоанн взял замок Нерсборо под свой контроль и потратил 1290 фунтов стерлингов на улучшение замка[4][5]. В 1307—1312 годах он был перестроен Эдуардом I за 2174 фунтов стерлингов, а позже Эдуард II возвёл большой донжон[6]. Эдуард II пожаловал замок Пирсу Гавестону и сам оставался там, когда непопулярного среди дворян Гавестона осаждали неподалеку в замке Скарборо[7].
В 1331 году замок получила Филиппа Геннегау, после чего он стал королевской резиденцией[7]. Королева проводила здесь летние месяцы в кругу семьи. Её сын, Джон Гонт, унаследовал замок в 1372 году, добавив его к обширным владениям герцогства Ланкастерского. Екатерина Суинфорд, третья жена Гонта, получила замок после его смерти[8].
Brown, R. Allen (April 1959), "A List of Castles, 1154–1216", The English Historical Review, 74 (291), Oxford University Press: 249—280, doi:10.1093/ehr/lxxiv.291.249
King, David James Cathcart (1983), Catellarium Anglicanum: An Index and Bibliography of the Castles in England, Wales and the Islands. Volume I: Anglesey–Montgomery, Kraus International Publications