Voor de Spelen van 1924 in Parijs werd hij beschouwd als een outsider. Teamgenoot Eric Liddell introduceerde hem bij een professionele trainer, met wie hij zijn sprint perfectioneerde. Nadat hij in 1923 het Britse verspringrecord reeds op 7,19 m had gebracht, verbeterde Abrahams dit een maand voor de Spelen tot 7,38. Dit record zou 30 jaar standhouden.[1] In Parijs kwam hij echter alleen op loopnummers uit. Hij won goud op de 100 m in een tijd van 10,6 s, voor Jackson Scholz uit de Verenigde Staten en Arthur Porritt, die later Gouverneur-Generaal van Nieuw-Zeeland zou worden. De finale vond plaats op 7 juli en tot Abrahams' dood zouden hij en Porritt ieder jaar op die dag dineren. Met de estafetteploeg won hij ook een zilveren medaille.
Op 12 juli 1924 liep Harold Abrahams met zijn teamgenoten Walter Rangeley, Lancelot Royle, William Nichol op de Spelen in Parijs tijdens de eerste serie 4 x 100 m estafette een wereldrecord in 42,0. Dit record werd in de derde serie geëvenaard door de Nederlandse estafetteploeg, waarna in de zesde serie het Amerikaanse team het record alweer verbeterde tot 41,2.
Van atleet tot voorzitter AAA
In 1925 brak Abrahams een been en daarop beëindigde hij zijn sportcarrière. Naast zijn juridische werk was hij jarenlang atletiekverslaggever voor de BBC. Merkwaardigerwijs (en net als zijn Nederlandse collega Han Hollander, die ook Joods was) versloeg hij ook de Olympische Spelen van 1936 in nazi-Duitsland.
In 1926 trad Harold Abrahams toe tot het Algemeen Bestuur van de Amateur Athletic Association (AAA), waarvan hij in 1931 secretaris werd en in 1976 voorzitter.[1] In 1957 ontving hij de onderscheiding van BCE voor zijn werk als secretaris van het National Parks Committee.[1]
Chariots of Fire
Abrahams overleed in 1978 op 78-jarige leeftijd. Zijn begrafenis vormt de raamvertelling van het verhaal van de film Chariots of Fire, die in 1981 de Oscar voor beste film won, en die het verhaal vertelt van zijn en Liddells succes in 1924. De rol van Abrahams wordt in de film vertolkt door Ben Cross.