In 10 anni di carriera, Kelly segnò 90 touchdown totali, guidando la NFL in yard corse per due stagioni consecutive (1967-68) e in touchdown segnati su corsa per tre (1966-68). Fu anche un grande ritornatore di punt e kick off, mantenendo un media di 10,5 yard per ritorno da punt e 23,5 yard per ritorno da kickoff.
Conosciuto per essere un eccezionale corridore nei campi fangosi della sua epoca (presenti anche nella NFL), Kelly fu anche un ottimo ricevitore. La sua rapidità e il suo senso dell'equilibrio gli concessero di disputare una carriera relativamente priva di infortuni, mancando solo 4 gare in dieci anni e mai più di una per stagione.
Kelly fu scelto dai Browns nell'ottavo giro del Draft NFL 1964[2]. Nella sua stagione da rookie fu un uomo chiave nei ritorni, contribuendo alla vittoria di Cleveland nel campionato NFL del 1964, giocando come riserva del fullbackJim Brown e bloccando per l'halfback Ernie Green. Divenne il running back titolare dei Browns in seguito al ritiro di Brown dopo la stagione 1965.
Kelly terminò la sua carriera con i Chicago Fire della World Football League nel 1974, correndo per 315 yard (4,1 di media) e ricevendo 8 passaggi per 128 yard.
