Diplomirao je 1971. godine na Građevinskom fakultetu u Beogradu. Po završetku fakulteta radio je u Birou za studije i projektovanje železnica, a od 1974. godine bio je rukovodilac Sektora za projektovanje. Godine 1977. zaposlio se u Centru za istraživanje i projektovanje, a njegovim spajanjem sa Saobraćajnim institutom postaje njegov direktor.
Na izborima za predsednika Srbije, januara 2008. godine, bio je kandidat SPS-a i osvojio je oko 6% glasova. Uspostavljanjem koalicije Demokratska stranka-Socijalistička partija Srbije, jula 2008, Mrkonjić biva izabran za ministra infrastrukture u novoj srpskoj Vladi koju je formirao Mirko Cvetković.
U Vladi koja je formirana nakon izbora u maju 2012. godine, Milutin Mrkonjić je obavljao funkciju ministra saobraćaja do rekonstrukcije koja je završena 2. septembra 2013. godine. Na tom mestu ga je zamenio stranački kolega Aleksandar Antić.
