Tijdens de Olympische Zomerspelen van 1956 in eigen land won Devitt de gouden medaille op de 4x200 meter vrije slag estafette in een wereldrecord, individueel won hij zilveren medaille op de 100m vrije slag achter zijn landgenoot Jon Henricks.
Devitt won tijdens de Olympische Zomerspelen van 1960 de tumultueuze finale van de 100 meter vrije slag. Ondanks dat de geklokte tijden trager waren dan de Amerikaan Lance Larson werd Devitt door de Zweedse hoofdscheidsrechter toch als winnaar aangewezen. Met de Australische 4×200 meter vrije slag won hij olympisch brons.