Yilmaz begann seine Karriere beim SC St. Pölten. 2004 wechselte er in die Jugend des SKN St. Pölten. 2013 spielte er erstmals für die Landesligamannschaft. Sein Profidebüt gab er am 26. Spieltag der Saison 2014/15 gegen den SC Austria Lustenau.
Nachdem St. Pölten in die Bundesliga aufgestiegen war, wechselte er im Sommer 2016 zum Regionalligisten SK Austria Klagenfurt.[1] Im Jänner 2017 verließ er die Kärntner aber wieder und wechselte zurück zu den Amateuren des SKN.[2]
Im Dezember 2017 stand er gegen den SK Rapid Wien erstmals nach seiner Rückkehr wieder im Profikader. Zur Saison 2018/19 wechselte er zum Zweitligisten Floridsdorfer AC.[3] In zwei Jahren verpasste er nur ein einziges Spiel der Wiener und kam zu 59 Zweitligaeinsätzen, in denen er vier Tore erzielte. Nach der Saison 2019/20 verließ er den Verein.[4]
Daraufhin wechselte er im September 2020 in die Türkei zum Drittligisten Turgutluspor. Nach 14 Einsätzen in der TFF 2. Lig verließ er Turgutlu im Jänner 2021 wieder.[5] Daraufhin kehrte er im Februar 2021 nach Österreich zurück und schloss sich dem Zweitligisten SV Horn an.[6] In zweieinhalb Jahren in Horn kam er zu 70 Zweitligaeinsätzen, in denen er neun Tore erzielte.
Zur Saison 2023/24 wechselte Yilmaz weiter innerhalb der Liga zum SKU Amstetten, bei dem er einen bis Juni 2025 laufenden Vertrag erhielt.[7]
