Débauché en 1888 de Renton FC, un des meilleurs clubs du pays, vainqueur de la Coupe d'Écosse en 1885 et 1888, par le président du Celtic FC John Glass, James Kelly est le premier capitaine de l'histoire du nouveau club. Il en porte les couleurs pendant neuf saisons, y remportant le championnat en 1893, 1894 et 1896, ainsi que la Coupe en 1892[2].
Il est également sélectionné à huit reprises en équipe d'Écosse (dont il est quatre fois capitaine), de 1888 à 1896[3].
À la suite de sa retraite sportive, il devient l'un des directeurs du club, faisant partie du conseil de la société nouvellement fondée. En 1909, à la mort de John H McLaughlin, il occupe le poste de président pendant cinq saisons, qu'il transmet à Tom White. Il reste cependant dirigeant du club jusqu'à sa mort en 1932[1].
Son fils Robert Kelly sera à son tour président du Celtic, de 1947 à 1971, avec lequel il connaît la fameuse victoire en Coupe d'Europe des clubs champions en 1967. Ce sera aussi le cas du neveu de ce dernier, Kevin Kelly, d' à , avec moins de succès puisqu'il devra vendre le club à Fergus McCann avant qu'il ne dépose le bilan.