Seu primeiro mandato como primeiro-ministro teve início em 1996, quando, presidindo a coalizão de centro-esquerda A Oliveira(L'Ulivo), venceu as eleições gerais do país. Seu governo teve, além de políticos de centro e de esquerda, participação do Partido da Refundação Comunista (Rifondazione Comunista), formação originária do antigo PCI. Teve como prioridade o saneamento da economia italiana, dada a necessidade de ajuste orçamentário do país, visando seu ingresso na União Europeia. Com a retirada do apoio da Refundação Comunista, em 1998, Prodi deixa o cargo, que foi então assumido por Massimo D'Alema.
No ano seguinte à sua destituição, assumiu a presidência da União Europeia, permanecendo no cargo até 2004. Foi em seu mandato que a moeda única europeia, o euro, entrou em circulação, em 1 de janeiro de 2002. Após o fim de seu mandato na UE, retorna à política italiana e, em 2005, forma uma nova coalizão de esquerda, A União (L'Unione) - onde se incluíam A Oliveira, A Margarida (La Margherita) e outros pequenos partidos de centro-esquerda.[1] É aclamado presidente da coligação.
Nas eleições gerais italianas, ocorridas em abril de 2006, consegue vitória apertada contra o então primeiro-ministro Silvio Berlusconi.[2] Mas, apoiado pela lei eleitoral vigente, alterada no mandato do próprio Berlusconi, consegue maioria no parlamento, o que lhe confere maior governabilidade. Silvio Berlusconi não aceitou sua derrota, pedindo recontagem dos votos; contudo Prodi assumiu pela segunda vez o posto, em 17 de maio de 2006, inaugurando o segundo Governo Prodi.
Em 21 de fevereiro de 2007, o governo Prodi foi derrotado por dois votos em uma proposta governamental enviada ao Senado italiano pelo Ministro de Relações ExterioresMassimo D'Alema. Prodi seguiu, então, para o Palácio do Quirinal, onde entregou sua renúncia ao presidenteGiorgio Napolitano, que cancelara uma visita oficial a Bolonha para receber o primeiro-ministro. Napolitano evitou qualquer decisão sobre a renúncia de Prodi até encontrar-se com as forças políticas do país. Napolitano tomou sua decisão em 24 de fevereiro. Não aceitou a renúncia de Prodi e mandou-o ao Parlamento para tentar obter um voto de confiança dos deputados e senadores. Disse, entretanto, que caso o primeiro-ministro não obtivesse a confiança do Parlamento, poderia deixar o cargo.
Em 28 de fevereiro de 2007, o governo de Prodi conseguiu o voto de confiança dos senadores, contando com 162 votos contra 157 da oposição conservadora. Na sexta-feira, 2 de março, a Câmara dos Deputados, onde o governo conta com grande maioria, deu o voto de confiança, confirmando a continuidade de Prodi no cargo.
A segunda e definitiva crise de governo ocorreu em 24 de janeiro de 2008. Após a saída do ministro da Justiça, Clemente Mastella (acusado de corrupção política) e de seu partido, Udeur (Unione Democratici per l'Europa, de centro, oriundo da antiga Democracia Cristã) da coalizão de apoio ao governo, Prodi perdeu a maioria no Senado. Pedido o voto de confiança ao Parlamento, o governo a obteve na Câmara, onde tinha ampla maioria, em 23 de janeiro. Porém foi derrotado no Senado - com 156 votos favoráveis, 161 desfavoráveis e uma abstenção. Além do voto contrário da Udeur, também alguns senadores de outros partidos votaram contra. Após a perda de confiança do Parlamento, o primeiro-ministro dirigiu-se ao Quirinal para entregar seu pedido de demissão ao chefe de Estado, Giorgio Napolitano. Este pode decidir-se a antecipar as eleições, as quais só deveriam ocorrer em 2011.