Naam maakte de specialiste op de vrije slag voor het eerst in 1956, bij de Olympische Spelen in Melbourne. Fraser won twee gouden medailles, op de 100 meter vrije slag en de 4x100 meter vrije slag, en een zilveren op de 400 meter vrije slag.
Vier jaar later, bij de Olympische Spelen van Rome (1960), prolongeerde Fraser haar titel op de 100 m vrij. In oktober 1962 doorbrak zij als eerste vrouw de magische grens van één minuut op het koningsnummer van de zwemsport. Dat wereldrecord hield acht jaar stand.
In 1965 beëindigde Fraser haar indrukwekkende loopbaan toen de Australische zwembond haar voor tien jaar schorste naar aanleiding van haar gedrag bij de Olympische Spelen in Tokio (1964), waar Fraser de voorschriften aan haar laars lapte. Zo liep ze mee in de openingsceremonie, wat haar was afgeraden, en droeg bij de competitie een oud badpak, zeer tegen de zin van de sponsors. Bij dat toernooi prolongeerde Fraser wel andermaal haar olympische titel op de 100 m vrij, wat haar dat jaar de uitverkiezing tot Australian of the Year opleverde. Haar schorsing werd vier jaar later opgeheven, maar ze bedankte toch voor verdere sportdeelname.
