Мати се такмичио од 15. године. На првом такмичењу у бацању копља, постигао је обећавајући резултат 54,26 м. Убрзо је постао жртва епикондилитиса (бацачки, тениски и голферски лакат), напустио је бацање копља и прешао на друге спортске активности, као што су скијашке трке или песапалло (фински бејзбол). Током служења војске 1929. поново открива првобитну дисциплину, учествовао је на неколико такмичења и победио у девет од десет такмичења, укључујући и финска првенства. Његов најбољи резултат био је 66,75 м.
Током лета 1930. направио серију изузетних резултата. На такмичењу у Виборгу8. августа, побољшао је светски рекорд ШвеђанинаЕрика Лундквиста за 56 цм бацивши копље на 71,57 м. Затим је три пута сукцесивно поправљао свој рекорд бацањимам 71,70 м у Тампереу, 71,88 м у Вааси и на крају 72,93 м у септембру у Виборгу. Без значајнијих резултата 1931. Јервинен, 27. јуна1932. у Турку, поново баца преко светског рекорда са 74,02 м. Изабран је у финску репрезентацију за Летње олимпијске игре 1932. јер је лако победио на такмичењу за улаза за репрезентацију са 72,71 м, скоро три метра испред сународника Матија Сипале.
Победник са Олимпијских игара из 1932. није могао бранити своју титулу 1936. у Берлину због повреде. У свом најбољем издању, био је и 1937. (76,47 м), али види да је добио конкуренцију у свом земљаку Ирју Никанену, сребрним на Берлинским играма и власнику новог најбољег светског резултата 25. августа 1938. са 77,87 м. Јарвинен ипак на дозвољава да га млађи победи и побеђује га на Европском првенству Паризу 1938. освајајући злану медаљу са 76,47 м.
