Cevdet Yılmaz 1 Nisan 1967 tarihinde Bingöl'de doğdu. Babasının adı Kemal, annesinin Fatmadır. Lise öğrenimini Bingöl'de 1983 yılında tamamladı. ODTÜ İktisadi ve İdari Bilimler Fakültesi Kamu Yönetimi Bölümüne girerek bu bölümden 1988 yılında birincilikle mezun oldu.
1995-2003 yıllarında DPT'deki görevine Planlama Uzmanı olarak devam ederken Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümünde doktora eğitimi aldı. 2003 yılında doktora tezi kabul edildi. Aynı yıl, teşkilatın AB İlişkiler Genel Müdürlüğü görevine getirildi.
Ulusal Ajans, ATAUM ve Sümerhalı'da yönetim kurulu üyeliklerinde bulundu.
Temmuz 2011-Ağustos 2015 ve Kasım 2015-Mayıs 2016 tarihleri arasında Kalkınma Bakanı; Ağustos 2015-Kasım 2015 tarihleri arasında Başbakan Yardımcısı olarak görev yaptı.
Mayıs 2016'da AK Parti Tanıtım ve Medyadan Sorumlu Genel Başkan Yardımcılığı görevine getirildi.[2]
1 Mayıs 2009 tarihinde gerçekleşen 60. Türkiye Hükûmeti kabine değişikliği sonucu GAP-DAP Projesi ve Kalkınmadan Sorumlu Devlet Bakanlığı görevine getirildi.
Erdoğan 2014 yılında Cumhurbaşkanı seçilince hükûmet kurma görevi Ahmet Davutoğlu'na verildi. Davutoğlu tarafından 29 Ağustos 2014 tarihinde kurulan 62. Türkiye Hükûmetinde Kalkınma Bakanlığı görevini korudu.
Haziran 2015 Türkiye genel seçimlerindeDiyarbakır milletvekili olarak meclise girdi. Bu seçimlerde hiçbir parti tek başına iktidar olmak için gereken sandalye sayısına ulaşamayınca ve koalisyon görüşmelerinden sonuç alınamayınca erken seçime gidilme kararı alındı. Davutoğlu başkanlığında kurulan seçim hükûmetinde 28 Ağustos tarihinde başbakan yardımcısı olarak görevlendirildi.[3] Bu görevini 24 Kasım 2015 tarihinde kadar sürdürdü.