1506년 마쓰다이라 가문과 이마가와 가문과의 교전 후, 성주 마키노 고하쿠가 전사하였고, 니렌기 성과 다하라 성을 거점으로 한 도다 가문과 마키노 가문의 전투가 격해져 갔다. 이에 성도 그 중심에 있어 성주가 여러 번 바뀌었다. 1522년 성주 마키노 노부시게가 이마하시 성을 개축했다고 전해오지만, 기록에는 1524년과 1526년으로 되어 있어 의문시된다.
1529년 미카와 서부의 마쓰다이라 기요야스가 세를 넓혀 이마하시 성을 공략했고, 더욱이 다하라 성주 도다 가문까지 굴복시켜 미카와의 지배권을 확립했다. 1535년모리야마 성에서 마쓰다이라 기요야스가 가신의 손에 살해되자, 마키노 시게토시가 성주로 부임했다. 하지만, 1537년도다 노부나리가 이마하시 성을 빼앗아 성을 관리했다. 1546년 우시쿠보 성주 마키노 야스시게의 요청을 받은 이마가와 가문은 이마하시 성을 공략해 함락했다. 이후 이마하시 성은 이마가와 가문의 지배하에 놓였으며, 이마가와 가문의 미카와 동부의 주요 거점이 되었다. 이 무렵 이마하시 성의 명칭은 이마가와 요시모토에 의해 요시다 성으로 개명되었다.
언제인지는 모르지만, 이마가와 요시모토는 오하라 시게자네를 요시다 성에 파견해 성을 관리하였고, 더욱이 미카와 동부의 호족층을 끌여들어 이를 보좌하게 하였다. 그 후, 마쓰다이라 가문이 이마가와 가문에 복속하자, 마쓰다이라 가문의 오카자키성을 후방에서 보좌하는 역할도 하였다. 1560년 음력 5월 오케하자마 전투에서 이마가와 요시모토가 전사하자, 이마가와 가문의 지배력을 저하되었고, 1565년 이마가와 가문에서 독립한 마쓰다이라 이에야스(후일 도쿠가와 이에야스)의 공격을 받고, 수장 오하라 시게자네는 스루가로 철퇴하였다. 이로써 이마가와 가문은 미카와에서의 지배권을 상실했다.
요시다 성은 도요가와 강을 배후에 둔 성으로 이에야스는 본성으로 삼기 꺼려했다. 이에 신임이 두터운 사카이 다다쓰구를 파견해 성을 관리하였다. 아울러 다하라 성에는 혼다 히로타카를 파견했고, 요시다 성을 중심으로 미카와 동부의 호족을 규합했다. 1568년 이에야스는 도토미를 공략해 세를 넓혔다. 또, 가이의 다케다 가문이 남하하자, 요시다 성은 북으로는 나가시노 성과 노다 성을, 동으로는 하마마쓰성, 후타마타 성, 다카텐진 성 등의 아성(牙城)이 되었다.
1572년 ~ 1582년까지 다케다 가문과의 공방전에서 주요 거점이 되었고, 1575년나가시노 전투가 있기 전까지 미카와, 도토미에서 도쿠가와 가문은 다케다 가문에 비해 열세였다. 특히 1572년 미카타가하라 전투에서 도쿠가와 가문에 패한 후, 다케다 군이 요시다 성 문턱까지 압박했지만, 이를 잘 막아낸다.
1610년 이에키요가 죽자 아들 마쓰다이라 다다키요가 번주에 올랐지만, 2년후인 1612년 죽고, 후계가 없어 영지는 몰수 되었다. 대신 미카와 국 후코즈 번에서 마쓰다이라 다다토시가 번주로 입성한 이후 후코즈 마쓰다이라 가문(1612년 ~ 1632년), 누마즈 미즈노 가문(1632년 ~ 1642년), 야마가타 미즈노 가문(1642년 ~ 1645년), 오가사와라 가문(1645년 ~ 1697년), 구제 가문(1697년 ~ 1705년), 마키노 가문(1705년 ~ 1712년), 나가사와·오코치 마쓰다이라 가문(1712년 ~ 1729년, 1749년 ~ 1871년), 혼조 마쓰다이라 가문(1729년 ~ 1749년), 도합 9가문 22명이 성주로 역임한 후다이 다이묘의 거성이었다. 단, 이케다 데루마사와 그 이전 성주였던 시기는 제외하였다.
요시다 성주로 역임한 가문의 수가 많고, 기간 또한 적기 때문에 번주 가문의 제를 대대로 모시는 사찰이 없었다가, 오가사와라 가문이 성주로 부임한 기간 동안 조성되었으며, 이 무렵 성과 주변 마을이 정비되고, 번정이 기초가 확립되었다.
1749년 혼조 마쓰다이라 가문의 마쓰다이라 스케쿠니가 도토미 국 하마마쓰번으로 이봉되자, 다시금 나가사와·오코치 마쓰다이라 가문이 성주로 부임해 메이지 유신을 맞이했다.
1869년(메이지 2년) 판적봉환에 따라 요시다 번은 도요하시 번으로 개칭되었고, 요시다 성 또한 도요하시 성으로 불리기 시작했다. 1871년(메이지 4년) 성은 병부성에서 관할하였고, 1873년 실화로 성의 건조물 대부분이 소실되었다. 또, 성터에는 나고야 진다이의 도요하시 분영소가 설치되어 군부대가 주둔하였다. 1875년(메이지 8년) 도요하시 분영소가 일본 제국 육군 보병 제18연대로 명칭이 변경되어 주둔했다.
태평양 전쟁후, 성의 산노마루 일부를 제외하고 도요하시 공원으로 정비되었고, 1954년(쇼와 29년) 혼마루에 구로가네 망루가 재건되었다. 단, 구로가네 망루의 외관과 장소는 다른 장소에 지어진 것이다. 현재 성터 주변에는 관공서와 문화시설이 들어서 있다.