Rafer Johnson föddes i Hillsboro i Texas, och flyttade till Kingsburg i Kalifornien som nioåring. I high school spelade han i skolans fotbollslag (inte den amerikanska utan den europeiska varianten), baseboll och basket. Eftersom han var duktig på flera idrotter drogs han till tiokampen efter att ha sett en tävling med den dubbla olympiska mästaren Bob Mathias (som vann guld i tiokamp vid OS London 1948 respektive Helsingfors 1952), han sade till sin tränare "Jag kunde ha slagit de flesta av dessa killar i den tävlingen". Hans tiokampsdebut skedde 1954 för UCLA. Han imponerade då och slog sen världsrekordet i sin fjärde tiokamp. Johnson vann de panamerikanska spelen 1955 i Mexico City och kvalificerade sig för både tiokampen och längdhoppet i de olympiska spelen i Melbourne 1956. Där hämmades han av en skada och kunde inte fullfölja i längdhoppet men tog en silvermedalj i tiokampen bakom Milt Campbell. Det var hans sista förlust i tiokamp.
På grund av skada missade han säsongerna 1957 och 1959 (den senare på grund av en bilolycka) men 1958 respektive 1960 satte Johnson nya världsrekord i tiokamp. Kronan på verket kom 1960 vid de olympiska spelen i Rom 1960. Hans främsta motståndare var Yang Chuan-Kwang från Taiwan. Yang studerade också vid UCLA, de två tränade tillsammans och var vänner samt hade samma tränare, den legendariske Elvin C. "Ducky" Drake. Efter nio grenar ledde Johnson över Yang men den senare troddes kunna ta in försprånget och vinna i den sista (1500 m). Johnson lyckades dock att hänga på Yang och ta guldet.
På UCLA spelade Johnson också basket under den legendariske coachen John Wooden och var en man för startfemman i 1959–1960 års basketlag.[2]
Johnson utsågs till tidningen Sports Illustrated's "Sportsman of the Year" 1958 [3] och vann James E. Sullivan Award som den bäste amatöridrottaren i USA 1960[4], den förste färgade idrottaren som fått det priset. 1994 valdes han in i första klassen i The World Sports Humanitarian Hall of Fame [5]. 1998 nämndes han som en av ESPN:s 100 största nordamerikanska idrottare under 1900-talet[6]. 2006 utnämnde NCAA honom som en av 100 mest inflytelserika idrottsstudenterna de sista 100 åren[7].
Efter guldmedaljen i Rom avslutade Johnson sin idrottskarriär. 1960 började han agera i filmer och som sportkommentator. 1968 var han involverad i Robert Kennedys presidentkampanj och var en av dem som brottade ner dennes mördare Sirhan Sirhan på golvet. 16 år senare valdes han ut att tända den olympiska elden vid de olympiska spelen i Los Angeles 1984.
Rafer Johnson Junior High School i Kingsburg, Kalifornien har fått sitt namn efter Johnson, likaså Rafer Johnson Community Day School i Bakersfield, Kalifornien och Rafer Johnson Children's Center in Bakersfield, Kalifornien. Den senare skolan, som även har specialkurser för elever i åldrarna 0-5 år, firar också en årlig Rafer Johnson-dag. Varje år talade Johnson vid detta tillfälle och träffade hundratals elever med speciella behov när de möts i olika friidrottsgrenar.
Johnson var också talesman för Hershey's Track & Field Games[9] och var mycket involverad i Special Olympics Southern California.[10] Han var en av grundarna.
