En novembre 1988, Bayh est élu gouverneur de l'Indiana. Occupant ce poste jusqu'en 1997, il laissa à son départ les finances de l’État aissainies et s'était assuré ainsi une forte popularité jusque dans les rangs républicains. Son lieutenant-gouverneur Frank O'Bannon(en) lui succède.
Démocrate centriste voire conservateur, Bayh est élu au Sénat des États-Unis en 1998. Il est très largement reconduit en 2004 avec 61,65 % des voix devançant son concurrent républicain de 25 points alors que l’État plébiscitait dans le même temps le président George W. Bush lors de l'élection présidentielle.
Cet élu d'un État conservateur et républicain a été un candidat démocrate potentiel pour la présidence des États-Unis de 2008 avant de renoncer en décembre 2006. En août 2008, il est mentionné par la presse comme l'un des possibles colistiers pour la fonction de vice-président au côté de Barack Obama avant que ce dernier ne choisisse Joe Biden. Par le passé, Bayh avait déjà été par deux fois cité comme un candidat potentiel à la vice-présidence, au côté d'Al Gore (en 2000) et au côté de John Kerry (en 2004).
En 2009, il est l'un des fondateurs et l'un des trois coprésidents d'un groupe réunissant des sénateurs démocrates modérés. En février 2010, il annonce qu'il ne briguera pas de nouveau mandat lors des élections sénatoriales de novembre 2010, estimant que « le Congrès ne fonctionne pas comme il le devrait » et que toutes les initiatives de travail utiles sont contrecarrées par « une idéologie bornée[1] ».
En mars 2011, il est recruté comme analyste politique sur la chaine Fox News afin de commenter la campagne présidentielle de 2012[2].
En 2016, Bayh se présente pour récupérer son ancien siège de sénateur, lui-même récupéré par son prédécesseur républicain Dan Coats. Alors que le candidat démocrate Baron Hill dispose de peu de chances de remporter l'État, Chuck Schumer convainc Bayh de se représenter ; Bayh étant considéré comme le seul démocrate pouvant battre le candidat républicain Todd Young. Cette candidature est considérée comme une surprise par la presse. Avant même de se lancer dans la course, Bayh dispose de près de 10 millions de dollars de fonds de campagne[3]. L'État, jusqu'alors considéré comme sûr pour les républicains, devient indécis[3] pour ensuite, en août 2016, commencer à pencher en faveur de Bayh[4]. Ce retour en fait une cible des républicains, qui l'attaquent pour son soutien à la politique de Barack Obama, son absence de l'Indiana et son enrichissement après son départ du Congrès. Sa marge sur Young dans les sondages disparaît alors[5]. Il est finalement battu par Young, qui le devance de dix points[6].