간에이 19년 (1642년), 나리와번에서 미즈노야 카츠타카가 5만석으로 입봉했다. 마츠야마번의 번정・경제의 기초, 마츠야마성의 성곽 보수는 미즈노야 시대에 거의 완성을 했다고 해도 좋다. 2대 번주・미즈노야 카츠무네는 도쿠가와 이에미츠의 명으로, 카사마 아사노 (후의 아코 아사노) 등 다섯 다이묘가 센가쿠지를 재건하고, 자신의 보리사로 삼았다. 그러나, 3대 미즈노야 카츠요시 때의 관계 악화로 센가쿠지와 절연하였다 (카츠타카, 카츠무네의 묘는 현재에도 센가쿠지 "경내안내"에서 빠져있다).
이 때의 마츠야마성 인도에는 아코 사건 발생 이전의 아코번주 아사노 나가노리가 맡았다. 또, 나가노리의 대리인으로서 아사노가 가로 오오이시 요시오 (쿠라노스케)가 다음 번주 안도씨가 올때까지의 1년 반 동안, 빗추 마츠야마성을 관리하였다. 성을 내어줄 때에, 오오이시는 단신으로 마츠야마성에 들어가 미즈노야가 가로 츠루미 쿠라노스케와 의논하여 개성을 하였다. 오오이시와 츠루미의 나노리 (자칭한 무가 백관명)가 우연히 같은 쿠라노스케였기 때문에 "두 쿠라노스케의 대결"이라고도 한다. 빗추 마츠야마에서 오오이시는 좋은 평판을 받았다[1]. 또한, 마르크스주의 민속학자 츠루미 타로는, 이 츠루미 쿠라노스케의 후예이다 (오오이시가 쪽은 마지막 당주 타쿠조는 이미 사망해, 절손되었다[2]).
동시에, 그 카메야마번에서 이타쿠라 카츠즈미가 5만석으로 입봉했다. 이후, 메이지까지 이타쿠라씨의 소령이 되었다. 유명한 번주로는 막부 말기에 7대 번주가 된 카츠키요를 뽑을 수 있다. 카츠키요는 이이 나오스케가 사쿠라다문 밖의 변이 암살된 다다음해인 분큐 2년 (1862년), 및 도쿠가와 요시노부 대에 로쥬수좌(필두)가 되었다. 번정에는 야마다 호코쿠를 기용하여, 번정 개혁을 성공시켰다. 카츠키요가 막부의 요직에 있었던 것으로 보아, 토바ㆍ후시미 전투로부터 1주일 후에는 마츠야마번 추토령이 조정에서 내려졌고, 오카야마번의 군세가 번주 부재인 마츠야마성 등을 접수하였다. 교토에 있었던 카츠키요는 도쿠가와 요시노부를 따라 에도로 향했고, 이후, 보신 전쟁에서는 구막부 측으로 하코다테까지 전진했다.
메이지 2년 (1869년)에는 카츠키요는 야마다 호코쿠 등의 설득을 받아, 항복하였고, 금고형해 쳐해졌다. 고쿠다카도 2만석으로 감봉되었고, 카츠스케 (5대 번주 카츠아키의 조카)가 번주가 되고, 번 이름도 이요마츠야마번과 혼동을 피하기 위해 "타카하시번"으로 개칭되었다. 또한, 카츠스케가 번주가 되기 전에, 호코쿠 등이 훗날의 집안 소동을 피하기 위해 "카츠마타 (카츠키요의 적남, 카츠키요가 관위를 몰수당한 후, 당주가 되어있었지만, 조정에서는 번주로 인정받지 못하고 아버지와 행동을 함께 하고 있었다)가 귀번한 후에는 번주의 지위를 카츠스케에게 양보하겠다"라는 서약문을 카츠스케에게 쓰게 했다. 그러나, 카스키요가 신정부로부터 사면받은 후에 이 말을 듣자, "주군은 쉽게 바꾸는 것이 아니다. 하물며 카츠마타는 조정으로부터 책망을 받은 몸이다"라며 카츠스케나 중신들 앞에서 건의 서약서를 찢어버리고, 중신들에게 카츠스케에 대한 충성을 맹세하게 했다고 한다 (폐번 후, 카츠스케는 남작이 되어, 메이지 29년 (1896년)에 49세의 나이로 사망했다).
번청의 위치를 기준으로 하고 있지만, 다른 지방으로 이전한 번도 있다. 순번은 『삼백 번 보신 전쟁 사전(三百藩戊辰戦争事典)』에 따른다. 메이지 시대의 변화: ★＝신설、●＝폐지、○＝이전・개칭、▲＝본번에 병합. 소괄호（）안은 이전・개칭・병합된 후의 번명이다. 소괄호가 없는 것들은 현에 편입된다.
