Studiował filozofię na Sophia University (上智大学 Jōchi Daigaku) w Tokio (obronił doktorat), potem na Papieskim Uniwersytecie Urbaniana w Rzymie (1957–1960, obronił doktorat z prawa kanonicznego). Przyjął święcenia kapłańskie 21 grudnia 1954 w Tokio. Pracował w archidiecezji tokijskiej jako duszpasterz. 15 marca 1966 został mianowany biskupem pomocniczym Tokio, ze stolicą tytularną Atenia; sakrę odebrał 8 maja 1966 z rąk arcybiskupa Mario Cagny, internuncjusza w Japonii.
W listopadzie 1969 został promowany na arcybiskupa-koadiutora Tokio, ze stolicą tytularną Castro di Puglia. Po śmierci kardynała Petera Doi (21 lutego 1970) objął rządy w archidiecezji. W latach 1982–1993 pełnił funkcję przewodniczącego Konferencji Episkopatu Japonii. Brał udział w sesjach Światowego Synodu Biskupów w Watykanie.
W listopadzie 1994 Jan Paweł II mianował go kardynałem, nadając tytuł prezbitera S. Emerenziana a Tor Fiorenza. W lutym 2000 kardynał Shirayanagi zrezygnował z dalszego kierowania archidiecezją i został zastąpiony przez Petera Takeo Okadę, dotychczasowego biskupa Urawy (któremu w 1991 udzielił sakry biskupiej). Uczestniczył w konklawe 2005. Zmarł w wieku 81 lat.
