В XII веке замок начали перестраивать в норманнском стиле, работа продлилась в течение двух следующих веков.[3]
Кентерберийский архиепископ Томас Бекет просил короля Генриха II вернуть замок под контроль архиепископства, но король отказал ему из-за напряжённых отношений между ними.[3] Возможно, именно в Солтвудском замке четверо рыцарей спланировали убийство Томаса Бекета, состоявшееся в Кентерберийском соборе в 24 километрах от замка.[3]
После убийства Бекета замок вновь передан под контроль архиепископства.[4]
Сохранился документ о допросе английского реформатора Джона Уиклифа, содержавшегося в замке.[5]
Во времена правления Генриха VIII замок был изъят из церковной собственности в пользу короны.
В результате землетрясения 1580 года замок был почти полностью разрушен. В XIX веке замок был восстановлен для использования архиепископа Кентерберийского. Надвратные помещения до сих пор используются как одна из резиденций архиепископа.[6]
В 1955 году замок приобретён Кеннетом Кларком, его сын Алан Кларк впоследствии жил там. Солтвудский замок до сих пор остаётся в собственности семьи Кларков.[8]