O'Callaghan var født i Duhallow nær Kanturk i grevskapet Cork og studerte medisin ved Royal College of Surgeons i Dublin. Etter at han ble uteksaminert i 1926, 21 år gammel, gikk han inn i RAF. Han kom tilbake til Irland i 1928 og åpnet egen praksis i Clonmel i grevskapet Tipperary.
Han debuterte som sleggekaster i 1927 i Dublin. Under OL 1928 i Amsterdam vant han gull i denne øvelsen, og ble dermed den første gullvinneren som representerte Irland. Han forsvarte tittelen fire år senere i OL i Los Angeles, der han vant Irlands andre OL-gull. Han fikk ikke delta under OL i Berlin i 1936, fordi det internasjonale friidrettsforbundet (IAAF) nektet å anerkjenne det irske forbundet.
O'Callaghan ble irsk mester i seks ulike øvelser i løpet av karrieren: slegge, kulestøt, diskos, vektkasting (høyde og lengde) samt høydehopp.
