2대 시게유키 (겐베에)는 메이레키 원년 (1655년)에 제츠마이 200석이 하사되고, 후에 키슈번의 요리아이구미 고가의 열이 된다. 안에이 5년 (1776년)에 같은 히사마츠계 마츠다이라 도서가와 함께 고가에 오른다. 분카 7년 (1810년)의 「가중관록인명장」에 『1천석 고가상좌 마츠다이라 로쿠로에몬』이라 쓰여있다. 가몬은 아오이, 쿠요문이다.
4대 타다히데 (로쿠로에몬)은 키슈번의 오반가시라, 1천석으로 승진했다. 7대 지츠죠인의 오빠인 이사오 (오리베)의 대에, 이에모치의 백부라는 이유로 3천석으로 가증되었다가, 지츠죠인이 에도성에 가서 살게 되자, 이에 동행해 3천석의 에도 막부하타모토가 되어, 막부 신판가시라에 취임하고, 오리베 마사로 칭했다.
한편, 키슈번에 남은 이사오의 동생 타다히로 (로쿠로에몬, 유고, 지츠죠인과 남매 순서는 미상)는 형이 하타모토가 되자, 신규로 불려나가 1천석 및 기슈번 요리아이, 대대로 고가의 반열에 올라, 오반가시라로 승진했다. 그러나, 제2차 쵸슈정벌에 출진하여, 이와미국에서 쵸슈번에게 패배한 책임을 지고 감석되었고, 자포자기한 타다히로는 음주 방탕에 빠져 몰락하였다 (이상은 『남기덕천사 제5책』에서).
그러나, 키쿠치요를 낳았을 때엔 이미 나리유키는 사망했고, 후계자인 도쿠가와 나리카츠의 명으로, 키쿠치요의 양육을 위해 출가 보류가 되었다. 나리카츠가 죽고, 키쿠치요가 나리카츠를 이어 세는 나이 4살에 13대 번주가 되었으며, 원복하여 요시토미로 이름을 고치고, 가독을 잇자, 머리를 자르고 지츠죠인 (実成院)의 원호를 칭했다.
안세이 5년 (1858년), 요시토미가 14대 쇼군 이에모치로서, 13살의 나이로 에도성에 들어가자, 분큐 원년 (1861년) 2월 16일부터 18일에 지츠죠인도 쇼군 생모로써, 오빠인 이사오와 함께 에도성 혼마루에 왔고, 오오쿠에 들어갔다.