특별명승 니지노마쓰바라 (카가미산에서 본 정경), 데라자와 히로타카가 방풍림, 방사림으로 조성했다.
데라자와 히로타카는 도요토미 히데요시를 섬겼다. 1592년 임진왜란 때 히젠국나고야성의 건설과 후방 병참의 책임자를 맡은 공적으로 1593년에 히데요시로부터 나고야를 포함하여 마쓰우라군 일대 약 83,000석을 받는 나가사키 부교로 임명되었다. 임진왜란 때는 조선으로 건너가 활약을 했다. 1600년, 세키가하라 전투에서 동군에 가담하여 공을 세웠다. 전후에 히고국 아마쿠사의 군 하나에 약 4만석을 추가하여 모두 123,000석을 받는 다이묘가 되어 영화를 누렸다.
1633년 히로타카가 사망 후 데라자와 가타타카가 그를 계승했다. 1637년, 시마바라의 난이 일어나자 그 반란이 아마쿠사로 번졌다. (데라자와 가타타카는 마쓰쿠라 가쓰이에 정도까지는 아니지만, 역시 영지민에게 혹독한 정치를 펼치고 있었다. 전후에 그것을 막부로부터 문책당해 아마쿠사 4만석을 몰수당한다. 가타타카는 이것으로 심적인 타격을 받아 자살했고, 카타타카는 대를 이을 아들이 없었기 때문에 데라자와 가문은 관직을 철회당하고, 개역되었다.
이후 하리마국아카시번오쿠보 다다치카의 손자 오쿠보 다다모토가 83,000석을 받으며 그 지역을 통치한다. 그를 계승한 오쿠보 다다토모는 1674년에 촌장이 영내를 전근 촌장제를 만들었고, 이후 이 제도는 에도 막부 말기까지 계속되었다. 1678년, 다다토모는 시모사국사쿠라번으로 번을 바꿔 봉작되었다. (1686년까지)
이어 미카와국오카자키번에서 번을 옮겨온 미즈노 다다토가 6만석으로 들어왔다. 1771년 미즈노 다다토가 농민에게 과중한 세금을 올리자 니지노 마쓰바라 봉기가 일어났다. 농민들은 무혈로 증세를 철회하기에 이르렀다. 1817년 9월, 다다토의 4대손인 미즈노 다다쿠니 때, 도토미국하마마쓰번으로 이봉된다. 다다쿠니는 덴포의 개혁을 실행한 것으로 유명하다.
1817년, 미즈노 가문의 뒤를 무쓰국다나구라번에서 가라쓰번으로 옮겨 온 오가사와라 나가마사는 6만석으로 옮겨왔다. 이후는 오가사와라 가문의 지배 하에 메이지 시대를 맞이하게 된다. 가라쓰번의 마지막 번주가 된 오가사와라 나가미치는 막부 말기에 노중, 외국 사무총재를 겸임하며 막부 행정을 담당하게 된다. 그는 1868년 발발한 보신전쟁에서는 구 막부군에 가담하여 하코다테까지 전전하는 등 끝까지 막부에 충의를 다한 인물이다. 그러나 이 때문에 나가미치를 역대 번주로 하고, 그의 양부인 오가사와라 나가구니를 마지막 번주로 기록한 사료도 많다.
가라쓰번의 표면적인 석고는 6만석에서 12만석이었지만, 실질적인 석고는 20만석 정도였던 것으로 알려져 있다. 번주들이 중간에 바뀐 경우가 많았으며, 장기간 번주들의 특이할만한 지배가 없었던 땅이었다.
역대번주
데라자와 가문(寺沢家)
도자마 다이묘 83,000석 → 123,000석 → 83,000석 (1593년 - 1647년)
번청의 위치를 기준으로 하고 있지만, 다른 지방으로 이전한 번도 있다. 순번은 『삼백 번 보신 전쟁 사전(三百藩戊辰戦争事典)』에 따른다. 메이지 시대의 변화: ★＝신설、●＝폐지、○＝이전・개칭、▲＝본번에 병합. 소괄호（）안은 이전・개칭・병합된 후의 번명이다. 소괄호가 없는 것들은 현에 편입된다.
