Sol bacağındaki rahatsızlık nedeniyle 11 yaşına değin ancak bastonla yürüyebildi. Yılmadan çalışması sayesinde Tennessee'deki Clarksville Lisesi'nde yıldız bir basketbolcu ve kısa mesafe koşucusu oldu. 1957-1961 arasında Nashville'deki Tennessee Eyalet Üniversitesi'nde öğrenim gördü. On altı yaşındayken 1956 Melbourne Olimpiyat Oyunları'nda 4 x 100 metre bayrak yarışında bronz madalya kazandı. 1960'ta, 200 metre'de 22,9'luk derecesiyle dünya rekoru kırdı.
Ardından 1960 Roma Olimpiyat Oyunları'nda 100 m'de 11.2 saniye ile (dünya rekoru), 200 m'de ve ayrıca 4x100 m bayrakta 44.4 sn ile (dünya rekoru olan bu süre 1961'de onun da yer aldığı başka bir ABD ekibince 44.3 sn'ye çekildi) üç altın madalya kazandı. 1959-1962 arasında Amatör Atletizm Birliği'nin (AAU) 100 yard şampiyonluğunu elinde tuttu. 1961'de yılın en başarılı amatör atleti olarak James E. Sullivan Ödülü'nü kazandı.
Rudolph koşuculuğu bıraktıktan sonra Chicago'da Gençlik Vakfı'nın müdür yardımcılığını üstlenerek kız atletizm takımlarının gelişmesi için çalıştı. Ayrıca atletizm sporunun ülke çapında yaygınlaştırılmasına yönelik çalışmaları destekledi. 1977'de Wilma: The Story of Wilma Rudolph adıyla otobiyografisini yayımladı.
