Fils d’un ébéniste parisien, Bailly entre aux Beaux-Arts de Paris avant d'être incorporé dans un régiment lors de la Révolution de 1848. Durant son service, il agresse un officier supérieur et doit s'enfuir en Angleterre ; là, il suit brièvement les cours du sculpteur Edward Hodges Baily (sans lien de parenté connu). Après une série de voyages qui le mène durant l'année 1850 en Argentine, puis aux États-Unis, il s'installe à Philadelphie.
Dans les années 1870, l’Institut monétaire américain lui passe commande d'une série de Trade dollar, pièces en argent servant aux règlements internationaux.
↑Caisses d'Épargne. Comptes abandonnés depuis l'année 1848.Journal Officiel, 30 juin 1878, p. 7254, lire en ligne sur Gallica. L'état-civil de Joseph Alexis Bailly figure dans le Journal général d'affiches n° 1376, déposé aux Archives nationales. Au moment de son dépôt en avril 1847, il demeurait à Paris au 42, rue Saint-André-des-Arts.
