Urodzony w rodzinie pary imigrantów, Irlandczyka i Rosjanki, uprawiał lekkoatletyczne konkurencje rzutowe jako student University of Southern California; kontuzja przekreśliła jego szanse na karierę futbolisty. Wyróżniał się jako kulomiot, sięgając w 1951 po pierwszy z kilkunastu tytułów mistrza kraju (w zawodach pod auspicjami Amateur Athletic Union). Dzięki rewolucyjnej innowacji technicznej – stawał tyłem do rzutni, a następnie wykonywał w kole zamach o 180 stopni; jest to tzw. technika ślizgowa, która do tej pory jest stosowana obok techniki obrotowej – zdominował w latach 50. swoją konkurencję, pozostając niepokonany w latach 1952-1956 przez 116 kolejnych zawodów. Ustanowił szesnaście rekordów świata, jako pierwszy przekroczył barierę 18 m (9 maja 1953), a następnie 19 m (3 września 1956).
Ukoronowaniem dominacji O’Briena w pchnięciu kulą były dwa tytuły mistrza olimpijskiego, po które sięgnął w Helsinkach (1952) i Melbourne (1956). W Rzymie (1960) musiał zadowolić się medalem srebrnym, za swoim rodakiem Billem Niederem (wicemistrzem cztery lata wcześniej), a w Tokio (1964) uplasował się tuż za podium na 4. miejscu. O stale rosnącym poziomie sportowym konkurencji świadczy fakt, że wynik uzyskany w 1952, dający mistrzostwo olimpijskie (17,41 m), cztery lata później nie wystarczałby już nawet do brązowego medalu; analogiczne zależności wynikają z porównania rezultatów z 1956 i 1960 oraz 1960 i 1964. Rekord życiowy O’Brien ustanowił u schyłku kariery w 1966, pchając kulę na 19,69 m. Amerykanin jest ponadto rekordzistą w „oburęcznym” pchnięciu kulą, uwzględniającym najlepsze wyniki uzyskane prawą i lewą ręką.
Poza medalami olimpijskimi Parry O’Brien mógł pochwalić się dwukrotnym mistrzostwem igrzysk panamerykańskich (1955, 1959) i licznymi tytułami mistrza kraju, w tym w rozgrywkach akademickich i rozgrywkach halowych. W 1955 zdobył także mistrzostwo USA Amateur Athletic Union w rzucie dyskiem. W 1959 ustanowił swój ostatni rekord świata i w tymże roku został uhonorowany prestiżową Nagrodą Sullivana, przyznawaną najlepszym amerykańskim sportowcom-amatorom. W 1964 przypadła mu zaszczytna rola chorążego reprezentacji narodowej na otwarciu igrzysk olimpijskich w Tokio.
Karierę sportową zakończył w 1966. Był oficerem lotnictwa, później pracował jako urzędnik bankowy i w handlu nieruchomościami. W czasie kariery znany z zaangażowania treningowego (poza dzienną dawką 150 rzutów zgłębiał również zagadnienia fizyki i aerodynamiki, wsparcia w osiąganiu rekordowych wyników poszukiwał także w religii i jodze), w latach 90. ze względu na ból ramion i pleców musiał ostatecznie zrezygnować z pchnięcia kulą; pozostał przy sporcie, trenując pływanie i uczestnicząc w zawodach weteranów. Zmarł na atak serca w czasie takich zawodów. Był żonaty, miał dwie córki.
Nazwisko O’Briena wpisano do Hall of Fame lekkoatletyki amerykańskiej (1974) oraz olimpizmu amerykańskiego (1984).
W latach 1906–1979 zawody były rozgrywane pod auspicjami Amateur Athletic Union, natomiast 1980–1992 – The Athletics Congress. Od 1993 to oficjalne mistrzostwa USA. Mistrzostwa miały charakter otwarty, mogli w nich występować zawodnicy z innych krajów.
