Rhome fu scelto dai Dallas Cowboys nel quarto giro del Draft 1964[1] ma iniziò la sua carriera professionistica solo nell'anno successivo. Malgrado fosse il terzo quarterback nelle gerarchie della squadra dietro Don Meredith e Craig Morton, ebbe la possibilità di disputare una gara come titolare quell'anno contro i Cleveland Browns (una sconfitta 23-17). Rimase una riserva nei Cowboys fino alla stagione 1969 quando, con l'arrivo di Roger Staubach, chiese ed ottenne di essere scambiato coi Cleveland Browns per una scelta del terzo giro del Draft NFL 1970.
Cleveland Browns
Rohme fu la riserva di Bill Nelsen durante la stagione 1969 ma le informazioni che fornì sull'attacco dei Cowboys contribuirono a far vincere i Browns durante la scontro tra le due squadre nei playoff[2]. La stagione successiva fu scambiato con gli Houston Oilers.
Houston Oilers
Rhome disputò una sola stagione con gli Oilers, quella del 1970, giocando 13 partite con 5 touchdown e 8 intercetti subiti.
Los Angeles Rams
L'ultima stagione della carriera, Rhome la passò nel 1971 con i Los Angeles Rams, scendendo in campo in tutte le 14 partite ma solo di rado come titolare.