Sesongen 1971/1972 vant han de tre første rennene i hoppuka, men måtte dra hjem på grunn av forberedelser til OL på hjemmebane. Han gikk dermed glipp av sammenlagtseier. Kasaya ble olympisk mester i normalbakken under Sapporo-OL. Landsmennene Akitsugu Konno og Seiji Aochi sørget for tredobbelt japansk triumf. Kasaya var den første asiat som vant et OL-hopprenn.[trenger referanse]