조선 후기의 대학자 우암(尤庵) 송시열(宋時烈, 1607∼1689)선생이 정치를 그만 두고 은거할 때 학문을 닦고 제자들을 가르치던 곳이다. 화양구곡(華陽九曲) 제4곡 금사담(金沙潭) 물가의 큰 반석가에 있는 서재로, 조선 후기의 문신·학자인 송시열(宋時烈)이 정계에서 은퇴한 후 학문을 닦고 제자들을 가르치던 곳이다.
암서재(岩棲齋)는 대지 약 65m2 정도에 목조기와로 2칸은 방이고 1칸은 마루로 되어 있는데, 방 안에는 현판 5점이 걸려 있다. 앞에는 암반 사이에 일각문이 세워져 있다. 일제강점기 말기에 후손들이 수리하였고, 1970년에 보수하여 지금에 이른다. 암서재기(岩棲齋記)에 '우암선생어병오년간축정사어계남(尤庵先生於丙午年間築精舍於溪南)'이라고 씌어 있는 것으로 미루어 1666년(현종 7) 8월 암서재(岩棲齋)를 짓고 이곳에 거주하였음을 알 수 있다. 암서재기(岩棲齋記)의 글씨는 문인 권상하(權尙夏)가 쓴 것이다. 화양구곡(華陽九曲) 곳곳에는 지금도 <비례부동(非禮不動)> 등 송시열(宋時烈)의 필적이 많이 남아 있으며 화양서원의 터도 이곳에 있다.
암서재(巖棲齋)는 1994년 1월 7일 충청북도의 유형문화재 제175호로 지정되었다가, 1999년 12월 29일 대한민국의 사적 제417호 '괴산 송시열 유적'에 포함됨에 따라 '충청북도의 유형문화재' 지정이 해제되었고, 2014년 8월 28일 대한민국의 명승 제110호 '괴산 화양구곡'에 포함됨에 따라 사적 '괴산 송시열 유적'의 보호구역에서 제외되었다.