현재 가고시마현인 사쓰마 번에서 태어났다. 13세에 양친을 모두 잃고, 1847년 번교(번의 교육기관)인 조시칸(造士館)에 입학하였다. 1850년부터 번의 관리로서 일하기 시작했다. 처음에는 낮은 직위였으나, 성실한 태도로 근무하여 계속 승진하여 29세에는 번의 정무를 입안하는 위치까지 올랐다.
1866년에는 번의 군무국 해군방(海軍方)에서 일했다. 이후에도 번의 군사역을 맡아 서양으로부터 해군 함선을 구입하는 일을 하기도 했다.
메이지유신 이후
메이지 유신 이후, 나가사키 재판소의 참의를 거쳐 히다 현 지사에 임명되었다. 여기서 위조지폐 유통을 적발하여 중앙정부의 오쿠보 도시미치의 신임을 얻었다. 그리하여 오쿠보의 추천으로 중앙정부의 고위직으로 전직되었다.
이후 대장성에 들어갔고, 내무경 오쿠보 하에서 토지세 개혁을 책임졌다. 그러나 이때 상관인 대장경 오쿠마 시게노부와 통화관리 정책에 관해 대립하였다. 마쓰카타는 오쿠마가 추진하였던 외채를 통한 정부지폐의 정리를 반대했다. 그리하여 이토 히로부미의 배려에 의해 내무경으로 전출되었다. 이후 오쿠마가 실각하자, 참의 겸 대장경으로 임명되어 대장성에 복귀하였다.
마쓰다카는 재정가로서 메이지 정부의 통화관리와 세제(稅制) 체계 수립에 크게 기여했다. 또한 정부의 재정수지를 크게 개선하고 인플레이션을 억제하였다. 그러나 그의 정책은 디플레이션을 초래하기도 했고, 이는 "마쓰카타 디플레"(松方デフレ)라고 불리며 국민들에게 반감을 사기도 하였다.
총리대신
1891년 야마가타 아리토모 내각이 붕괴한 후, 후임 총리에 취임하였다. 그러나 내각에서 불협화음이 일어서 1년 만에 사임하였다. 이후 이토 히로부미 내각이 수립되었다가 1896년 다시 마쓰카타가 수상에 취임하였다. 특히 현안으로 있던 금본위제로의 복귀를 달성하였으나, 오쿠마가 이끌던 진보당과 연정이 여의치 않아서 1년 만에 다시 사임하였다.
만년
1902년 일본 적십자사 사장(총재)에 취임하였다. 1903년 추밀원 고문관에 임명되었고, 1917년 천황의 자문역인 내대신에 임명되었다.
또한 이토나 이노우에 가오루가 러일 전쟁의 개전에 반대했지만, 마쓰카타는 적극적 개전론을 주장하기도 하였다.
정부에 큰 영향력을 행사하던 이토와 야마가타 아리토모의 사후, 마쓰카타는 겐로(원로) 그룹의 수장으로, 가토 도모사부로 내각의 성립에 깊숙히 간여하였다.
1924년 사망하였고, 장례는 국장으로 치러졌다.
평가
마쓰카타는 메이지 유신 초기를 주름잡던 사쓰마 파벌의 대표적인 인물이었지만, 재정면 이외의 정치적 수완은 결핍되어 있었다. 그리하여 수상에 두 번이나 임명되었으나, 내각은 단명에 그치고 말았다.
자녀·친족
아내 마사코 (満佐子, 사쓰마 번사 가와카미 스케하치로川上助八郎의 장녀) - 4남 1녀의 자녀를 낳고 아이들을 함께 길렀다.