Baily naît à Newbury, Berkshire. En 1796 et 1797 il voyage dans les portions encore non explorées d'Amérique du Nord. Son journal de voyage est édité par Auguste De Morgan en 1856. Il entre ensuite à la bourse de Londres et publie plusieurs livres dans le domaine des assurances-vie, Tables for the Purchasing and Renewing of Leases (1802), The Doctrine of Interest and Annuities (1808), et The Doctrine of Life-Annuities and Assurances (1810). Il amasse une fortune et se retire des affaires en 1825 pour se consacrer à l'astronomie.
Ses observations des grains de Baily durant une éclipse annulaire du Soleil le dans le Roxburghshire est le début d'une série d'expéditions modernes d'observations des éclipses. Sa description de ce phénomène qui dépend des irrégularités des montagnes lunaires attire l'attention sur l'éclipse totale du que Baily observe à Pavie.
Baily complète et discute les expériences d'Henry Foster effectuées avec un pendule et en déduit un aplatissement de la Terre de 1/289,48. Il corrige la longueur du pendule-seconde et en 1843 il est chargé de reconstruire les standards de longueurs.
Son compte rendu de la vie de John Flamsteed est d'une grande importance pour l'histoire des sciences du XVIIe siècle. Il meurt à Londres le et est enterré dans le caveau familial de l'église de la paroisse de Thatcham. Un cratère sur la Lune porte son nom. L’alliage rigide et relativement insensible à l’expansion thermique utilisé pour couler l’étalon du yard de 1855 fut aussi nommé en honneur (métal de Baily : 16 parties de cuivre, 2,5 parties d’étain et 1 partie de zinc).