Yrjölä deltok også under OL 1924 i Paris, og kom på niendeplass i tikamp. Fire år senere tok han gullmedaljen med 6587 poeng. Yrjöla, som bar kjælenavnet hämeenkyrön karhu (bjørnen fra Tavastkyro (Hämeenkyrö)) ble også nummer ni i kulestøt. I sin siste OL-deltakelse, Los Angeles 1932 kom han på sjetteplass i tikamp.