Paine var påmeldt i alle tre pistoløvelsene under lekene i 1896. Sammen med broren John Paine ble han nektet deltagelse i 25 m silhuettpistol fordi våpnene deres ikke var i godkjent kaliber.
Paine-brødrene brukte Colt-revolvere i militærpistol-øvelsen. Disse pistolene var overlegne i forhold til våpnene som konkurrentene brukte, og brødrene hadde ingen problemer med å ta de to øverste plassene. Sumner ble nummer to med 380 poeng på 23 treff (av 30 skudd), mens John hadde 442 poeng med 25 treff. Neste skytter på lista hadde bare 205 poeng.
Etter å ha vunnet militærpistol trakk John seg fra fripistol-øvelsen. Sumner vant lett denne øvelsen med samme poengsum (442) som John hadde vunnet militærpistol med. Han hadde et treff mindre (24). Sølvmedaljevinneren hadde 285 poeng.
.png)
