Участвуя в играх, он выиграл три медали, в том числе одну золотую. Сначала, 6 апреля, он участвовал в соревновании по тройному прыжку. Он почти на метр обошёл ближайшего соперника из ФранцииАлександра Тюффери, и с результатом в 13,71 м, победил в состязании. Это соревнование проходило раньше других, и Джеймс Конноли стал самым первым Олимпийским чемпионом.
На следующий день, 7 апреля, он соревновался в прыжке в длину. С результатом в 5,84 м, он занял третье место, уступив двум своим соотечественникам Эллери Кларку и Роберту Гарретту. 10 апреля, Конноли принял участие в прыжке в высоту. Он разделил второе место с Гарретом, показав с ним один результат в 1,65 м. Первое место в том состязании занял Кларк.
Через четыре года, Конноли поехал на летние Олимпийские игры в Париже, чтобы защитить свой чемпионский титул. Однако он не смог этого сделать, проиграв только соотечественнику Майеру Принштайну.
После игр, Конноли имел много разных профессий — он работал в морских доках, участвовал в Испано-Американской войне, был журналистом (он писал статьи о войне и летних Олимпийских играх 1904 в Сент-Луисе), был автором нескольких романов о море. В 1949 году, Гарвардский университет присвоил ему докторскую степень за его произведения.
Конноли умер в возрасте 88 лет. В его честь, в одном из парков на юге Бостона, поставили его скульптуру, на которой он изображён в момент приземления после прыжка.