Yadav lärde sig politik hos socialistledaren Jaya Prakash Narayan, som ledde en studentrörelse i Bihar i början av 1970-talet.[1] Yadav var aktiv inom partiet Janata Dal, som i slutet av 1980-talet nådde framgång som ett av de partier som var i opposition mot Kongresspartiet, bland annat efter upploppen i Bhagalpur.[2] Efter Karpoori Thakurs död blev han 1989 oppositionsledare i Bihars lagstiftande församling. Efter valet 1990 blev han premiärminister i Bihar. 1997 bröt han sig ur Janata Dal och bildade Rashtriya Janata Dal. Detta sammanföll med att han tvingades lämna premiärministerposten i Bihal till följd av den så kallades foderskandalen, som uppdagades 1996. Han efterträddes på premiärministerposten av sin hustru Rabri Devi.
Yadav invaldes2004 i Lok Sabha, ena kammaren i Indiens parlament, och hans parti var vid detta val allierat med valets vinnare, Kongresspartiet. Som järnvägsminister anses han ha varit framgångsrik i att få järnvägen att gå från förlust till vinst.[1]
Många anklagelser om korruption har riktats mot Yadav under åren, och foderskandalen har blivit föremål för flera domstolsförhandlingar. 1997 fick han tillbringa en tid i häkte då han utreddes för foderskandalen.[2] I december 2006 friades han från en omgång av anklagelser i en specialdomstol.[1] 2013 dömdes han till fem års fängelse för sin inblandning i foderskandalen, vilket innebar att han uteslöts från Lok Sabha och inte tilläts ställa upp i val.[2] Ytterligare domar har följt därefter, bland annat 14 års fängelse i mars 2018, och sedan december 2017 sitter Yadav fängslad till följd av en dom det året.[3]