Ylönen débute lors de la saison 1988-1989 avec l'équipe junior des Kiekko-Espoo en Finlande. L'année suivante, âgé de seulement 17 ans, il joue une grande partie de la saison avec l'équipe senior dans la 1.Divisoona, la deuxième division finlandaise derrière la SM-liiga. Toujours junior, il rejoint en 1991 l'équipe du HPK Hämeenlinna avec laquelle il fait ses débuts dans la SM-liiga. Cette même année 1991, il est choisi par les Jets de Winnipeg au cours du repêchage de la LNH. Il passe deux saisons avec Hämeenlinna avant de rejoindre le Jokerit Helsinki avec lequel il remporte le titre de champion de Finlande en 1996.
La saison suivante, il rejoint les Coyotes de Phoenix qui succèdent aux Jets de Winnipeg après leur déménagement à Phoenix. Après une première saison passée dans l'équipe école des Coyotes, les Falcons de Springfield dans la Ligue américaine de hockey, avec lesquels il échoue en finale d'association de la Coupe Calder. Il devient ensuite titulaire au sein des Coyotes pendant quatre saisons avant d'être échangé au Lightning de Tampa Bay contre Todd Warriner. Ylönen joue 65 matchs pour le Lightning avant d'être échangé aux Sénateurs d'Ottawa contre André Roy et un choix de repêchage.
