5대 카네토모는 유일신토를 창시, 기존의 이세신궁계 신직과 치열하게 대립하면서 고쓰치미카도 천황을 신자로 얻고 세력을 확대해 신기관령 나가카미라는 새로운 칭호를 자칭했다. 이후 신기백의 시라카와 가문을 구축하여 전국의 신사에 대한 지배를 넓혀갔다.
9대 가네미에 이르러, 오다 노부나가의 천거로 가문이 당상가로 오르게 되었다. 코노에 사키히사에게 가례로써 섬겨, 아케치 미츠히데와 깊은 친교가 있던 카네미의 일기 『겸견일기(兼見卿記)』는 아즈치모모야마정권기 연구에 필수적인 1급 사료가 되고있다. 신직에 있어서 요시다가의 우위는 에도시대에 이르러, 칸분 5년 (1665년)의 제사이의신주법도를 확정한다.
역대 당주는 신시관 영장상을 칭하고, 정2위 신기대부까지 오를 수 있었다. 에도시대의 가록은 760석, 메이지 유신 이후에는 나카요시가 자작의 작위를 받았다. 분가로써, 에도시대 초기에 하기와라가가 나왔다.
에도 막부 말기의 영지
국립역사민족박물관의 『구고 구령 취조장 데이터베이스(旧高旧領取調帳データベース)』에서 산출된 막부 말기의 요시다가의 영지는 아래와 같다. (4개 마을 · 766석 9말 5되 3홉 6작)
