이바라키현히타치시 출신으로 공업학교를 졸업하고 도쿄에서 기계공으로 일했으며, 1942년에 육군에 입대해 보병으로 태평양 전쟁에 참전했다가 소련군의 포로가 되었고, 1948년까지 시베리아에 억류되었다. 포로 생활 중에 가요를 몇 곡 작곡했고, 같이 억류되어 있었던 동료 병사가 그 중 한 곡을 NHK의 음악 프로그램에서 노래하면서 화제가 되었다. 이 곡은 '이국의 고개(異国の丘)'라는 제목으로 바뀌어 요시다의 출세작이 되었다.
1949년에 빅터 레코드의 전속 작곡가가 되었고, 일본 레코드 대상(1960년, 1962년)과 특별상(1968년)을 수상했다. 일본 정부로부터는 문부대신상(1969년), 자수포장(1982년)과 3등 욱일중수장(1992년)을 수상받았다. 일본 작곡가 협회 이사장, 일본 음악저작권 협회(JASRAC) 회장과 일본 작곡가 협회 회장 등을 역임했다.
생애 동안 2000여 곡의 가요와 경음악을 남겼으며, 대표곡으로 '이국의 고개' 외에 레코드 대상작인 '언제라도 꿈을(いつでも夢を)' 과 '누구보다 너를 사랑해(誰よりも君を愛す)', '추운 아침(寒い朝)', '거리의 샌드위치맨(街のサンドイッチマン)', '재회(再会)', '와카야마 블루스(和歌山ブルース)' 등이 있다.
1998년 타계 후 고가 마사오, 핫토리 료이치에 이어 대중음악 작곡가로서는 세 번째로 국민영예상을 수상했다. 2001년에 미망인을 중심으로 '요시다 다다시 기념 관현악단' 이 창단되었고, 히트곡들을 교향곡화한 다섯 곡의 '도쿄 교향곡' 과 탱고 편곡 앨범 등이 발매되고 있다.
2004년 4월에는 고향인 히타치 시에 음악 기념관이 건립되었으며, 시내의 기차역들에서 그의 히트곡을 열차 발착시의 신호음으로 사용하고 있다.
