Fernandes blev kendt i 1970'erne som fagforeningsleder indenfor jernbanerne. Under Indira Gandhis nationale undtagelsestilstand blev han kendt som modstander af regeringen og fængslet en periode. Ved regeringsskiftet i 1977 blev Fernandes udpeget til posten som landets industriminister. I sin ministertid lagde han en hård linje mod udenlandske virksomheder, hvilket fik virksomheder som Coca-Cola Company og IBM til at forlade Indien.
Ved valget i 1998 var Fernandes medlem af Samata Party og blev forsvarsminister i den BJP-ledede koalitionsregering, der kom til at sidde frem til 2004. Efter anklager om korruption indenfor forsvarsministeriet gik Fernandes af i februar 2001, men blev atter forsvarsminister blot få måneder senere. I 2003 slog Samata Party sig sammen med Janata Dal (U) under sidstnævntes navn og Fernandes blev leder af partiet.