Elazığ'ın Palu ilçesinden göçmüş Kürt[4] bir ailenin üyesi olarak Mersin'de doğdu. Ortaokulda kendisine "Rejisör" lakabı takılmasını "Mersin ortaokulunun ikinci sınıfındayım. Kim hangi nedenle uygun gördü hatırlamıyorum şimdi. Bana 'rejisör' lakabı takıldı. Herhalde sınıfta bir Yılmaz daha vardı. Ondan ayırmak için olmalı. Ama hâlâ kendime sorarım. Neden rejisör? Bana bu ismi yakıştıran arkadaş, şimdi ünlü bir falcı olmalı. Bu lakabın meslek seçimimde önemli bir payı olmuştur sanırım."[5] diye anlattı.
1951 yılında Kanlı Feryat filmi ile yönetmenliğe başlamadan önce iki kez yardımcı yönetmenlik ve ayrıca film eleştirmenliği ve senaryo yazarlığı da yaptı. Orhan Günşiray'la birlikte Yerli Film adındaki prodüksiyon firmasını kurduktan sonra film çalışmalarına hız veren Yılmaz, çeşitli sinema derneklerinde ve sendikalarında da görev aldı. Yerli Film kapandıktan sonra 1980'de Ömer Kavur ve Yavuz Özkan ile birlikte ADAF'ı kuran Yılmaz, bu şirket dağıldıktan sonra, kendi adına Yeşilçam Filmcilik yapımevini açtı. Mimar Sinan Üniversitesi Sinema-TV Bölümünde öğretim görevlisi olarak çalıştı. Aktif olduğu dönem boyunca 110'dan fazla film yönetti.[7] 2004 yılında gösterime giren Eğreti Gelin filmi yönettiği son film oldu.