El 1962 Nelson es graduà a la Universitat d'Iowa, essent en dos ocasions All-American amb una mitjana de 21,1 punts i 10,5 rebots per partit. Fou draftejat a la posició 19 pels Chicago Zephyrs de l'NBA. Jugà a l'equip dos anys fins que fou traspassat a Los Angeles Lakers el 1964. L'any següent, en ser tallat pels Lakers, signà pels Boston Celtics.
A la seva primera campanya als Celtics, Nelson completà la seva millor temporada a l'NBA amb 10,2 punts i 5,4 rebots per partit, ajudant els Boston a guanyar l'anell de 1966. Guanyaria quatre campionats més, el 1968, el 1969, el 1974 i el 1976. Tot un model de consistència, Nelson feu més de 10 punts per trobada a cada temporada entre 1968-69 i 1974-75. Aquesta última temporada liderà l'NBA en percentatge de tirs de camp. A la temporada 1975-76, després de 14 anys a la lliga, Nelson posà punt final a la seva carrera professional, i el 1978 se li retirà la seva samarreta amb el número 19 dels Boston Celtics.
Carrera d'entrenador
Nelson agafà el comandament de general mànager i entrenador dels Milwaukee Bucks el 1976, i començà a mostrar la seva impecable habilitat per realitzar traspassos beneficiaris per als seus equips. El primer fou rebre Marques Johnson (que després tindria una sòlida carrera als Bucks) a canvi de Swen Nater als Buffalo Braves. El 1983 i 1985 rebé el premi al Millor Entrenador de l'Any. També fou als Milwaukee on Nelson començà a ser reconegut per la seva heterodòxia i innovadora filosofia del basquetbol. A l'equip hi romangué deu temporades, set d'elles per damunt de les 50 victòries i diversos campionats de divisió.
Després d'una pausa d'un any, es convertí en entrenador i vicepresident dels Golden State Warriors, on fou nomenat millor entrenador per tercer cop. Als Warriors inculcà un sistema ofensiu ràpid i efectiu. Solia emprar en el quintet titular tres bases/escortes: Mitch Richmond, Tim Hardaway i Sarunas Marciulionis; i dos alers: Chris Mullin i Rod Higgins, que feien les funcions de pivot. Amb aquesta inusual tàctica, liderà els Warriors a temporades d'èxit i moltes aparicions en playoffs. Posteriorment feu arribar a l'equip Chris Webber i Latrell Sprewell. Després de quatre temporades, abandonà l'equip per indiferències amb Webber després d'un començament de 14-31.
Al Mundial de Toronto del 1994 fou l'entrenador del Dream Team II que guanyà la medalla d'or.
El 1995 Nelson firmà amb els New York Knicks, equip que dirigí des de juliol fins al març del 1996. Nelson tingué problemes amb diversos jugadors, i liderà els New York Knicks a un començament de temporada de 34-25. Tractà de convèncer el club per traspassar l'estrella Patrick Ewing, per així tenir opcions de negociar per Shaquille O'Neal, que aquell estiu es convertí en agent lliure. Fidel als seus principis, Nelson continuà amb el seu joc ofensiu i ràpid, que contrastava amb l'estil brusc i defensiu que caracteritzava els Knicks de Patrick Ewing, Anthony Mason i Charles Oakley.
El 1997 fou nomenat entrenador i general mànager dels Dallas Mavericks, un equip aleshores perdedor, però amb adquisicions com Dirk Nowitzki i Steve Nash, a més de Michael Finley i Shawn Bradley que ja estaven a l'equip, convertí els Mavericks en un bloc molt competitiu. Liderà l'equip quatre temporades consecutives per damunt de les 50 victòries. Malgrat formar un dels millors equips ofensius de la lliga, quant a defensa interior fluixejava molt, comptant amb jugadors com Raef LaFrentz, Shawn Bradley i Dirk Nowitzki, molt fluixos en defensa.
El març del 2005 Nelson deixà l'equip essent reemplaçat per Avery Johnson, i nomenant el seu fill Donnie Nelson el seu substitut com general mànager.
El 30 d'agost del 2006 signà pels Golden State Warriors. El 8 d'abril del 2010 aconseguí el rècord de més victòries com a entrenador de l'NBA. Fou acomiadat dels Warriors el 27 de setembre del 2010.
El 2 d'abril del 2012 s'anuncià que Nelson passaria a formar part dels Basketball Hall of Fame, entre els escollits en aquell any. La seva elecció fou oficial el 7 de setembre.[1]
El 29 de desembre del 2001 Nelson es convertí en el tercer entrenador a la història de l'NBA a arribar a les 1.000 victòries, després de Lenny Wilkens i Pat Riley. Nelson guanyà el seu partit 1.200 el 9 de desembre del 2006, essent amb Wilkens (1332) l'únic entrenador a arribar a aquesta xifra de victòries.
