Nacque a Tokyo nel 1912. Iniziò gli studi presso la Gakushūin, istituto della corte imperiale e delle famiglie imperiali ed in seguito all'Università delle arti di Tokyo (ex Tokyo Music School). Studiò pianoforte con Leo Sirota e Paul Weingarten e composizione con Klaus Pringsheim, diplomandosi tra i migliori della sua classe. Come compositore formò l'orchestra Promethée. Nel 1937 ricevette il primo premio dalla Japan Broadcasting Corporation per le sue opere di musica sinfonica, mentre nel 1938 fu anche premiato dalla New Symphony Orchestra per il suo poema sinfonico Songs that youth can sing, Canzoni che i giovani possono cantare, e il Weingarten Award per il poema sinfonico Kiso. Studiò tecnica di direzione sotto la guida di Józef Rosenstock e nel 1940 debuttò come direttore della New Symphony Orchestra.
Nel 1976 fu insignito dal Governo giapponese della medaglia con il nastro viola per l'eccellenza artistica, mentre nel 1978 confermò il suo talento e la sua eccellenza nella serie di spettacoli World of Kazuo Yamada. Nel 1979 fu inoltre insignito del Minister of Education Award for Fine Arts dell'Ordine del Sol Levante, Raggi dorati con rosetta, nel 1984 del premio Quarta Classe e nel 1986 del Premio dell'accademia d'arte del Giappone.
Ricoprì diversi incarichi chiave come direttore residente capo e consigliere artistico dell'Orchestra sinfonica di Kyoto[10], direttore artistico dell'Orchestra sinfonica di Gunma[11], direttore onorario della Japan Shinsei Symphony Orchestra, direttore musicale del coro Nissho , presidente della Società di Mahler del Giappone, professore nell'Università delle arti di Tokyo. Tenne edibizioni come direttore ospite in Giappone e all'estero. Nel 1991 fu nominato direttore musicale della Filarmonica Kanagawa e vi rimase fino alla sua improvvisa scomparsa avvenuta il 13 agosto dello stesso anno all'età di 78 anni.
Nel 2011 fu pubblicata una registrazione dal vivo di Yamada mentre dirige la Sinfonia n. 9 di Mahler con la New Japan Philharmonic, un quarto di secolo dopo la performance del 1986, che ricevette il Gran Premio per la registrazione al Festival delle Arti del Ministero della Cultura giapponese.