Il débute en Ligue majeure le 6 avril2009. En 68 parties à sa saison recrue, le jeune lanceur de relève enregistre 26 sauvetages pour les Athletics, pourtant une équipe de dernière position. Il abat ainsi le record d'équipe à ce chapitre pour un stoppeur recrue[2], dépassant les 18 sauvetages de Huston Street en 2005.
Alors que s'ouvre la saison 2012 du baseball majeur, Bailey subit une opération pour réparer un ligament au pouce droit. La blessure doit le tenir à l'écart du jeu jusqu'à la pause du match des étoiles, en juillet[5].
Il maintient une moyenne de points mérités de 3,77 en 28 manches et deux tiers lancées lors de 30 apparitions au monticule pour Boston en 2013. En juillet, il subit une opération de type Tommy John à l'épaule droite, ce qui met fin à sa saison et lui garantit de rater la première moitié de la campagne suivante[6]. Sa convalescence est plus compliquée que prévu et il est tenu à l'écart du jeu toute la saison 2014[7].
Yankees de New York
Le , Bailey signe un contrat des ligues mineures avec les Yankees de New York[7]. Il effectue son retour dans les majeures en 2015 avec les Yankees, lançant 8 manches et deux tiers en 10 sorties.
Après avoir joué pour Philadelphie en 2016, Bailey est éventuellement libéré de son contrat et il termine la saison chez les Angels de Los Angeles, pour qui il joue également en 2017.
