בתחילת הקריירה שלו נלסון שיחק בעמדת הקיצוני השמאלי, אך בשלב מאוחר יותר עבר להגנה והפך לבלם שמאלי. הוא היה שחקן הרכב קבוע בקבוצת המילואים של ארסנל במשך מספר עונות, וערך את הופעת הבכורה שלו בסגל הבוגר במשחק נגד איפסוויץ' טאון ב-25 באוקטובר1969. נלסון היה מחליפו של הבלם הוותיק בוב מקנאב, ורק כאשר מקנאב נפצע בעונת 1971/1972 הוא הפך לשחקן הרכב קבוע. עם זאת, כאשר מקנאב היה מחלים מהפציעות שלו הוא היה מועדף בהרכב על פני נלסון.
מקנאב עזב את ארסנל בקיץ 1975, ונלסון זכה לבסוף למקום קבוע בהרכב במשך חמש העונות הבאות. בעונות הללו הוא שיחק בשלושת משחקי גמר גביע ה-FA שהמועדון העפיל עליהם (1978 - הפסד, 1979 - ניצחון, 1980 - הפסד), ובהפסד ב-1980 לוולנסיה בגמר גביע המחזיקות.
נלסון היה ידוע בזכות קשיחותו ותיקוליו, והיה אחד מהשחקנים האהודים על הקהל. שמו הוכתם לאחר שהוחלט בהנהלת ארסנל להשעותו, כיוון שלאחר שהבקיע את שער השוויון במשחק בהייבורי נגד קובנטרי סיטי, הוא הוריד את מכנסיו והפנה את אחוריו אל היציע הצפוני של האצטדיון.
עם הגעתו למועדון של האנגלי הבינלאומי קני סנסום ב-1980 נלסון מצא את עצמו פעם נוספת בקבוצת המילואים. הוא עזב את ארסנל ב-1981 על מנת להצטרף לברייטון אנד הוב אלביון. הוא שיחק במדי ארסנל ב-339 משחקים, והבקיע בהם 12 שערים.
נלסון שיחק בברייטון במשך שתי עונות, ולמרות שלא הצליח להציל את המועדון מירידת ליגה בעונת 1982/1983, הוא הצליח להוביל אותו לגמר גביע ה-FA (הרביעי בקריירה שלו), אך המועדון הובס במשחק החוזר של הגמר בתוצאה 0-4 על ידי מנצ'סטר יונייטד, לאחר 2-2 במשחק הראשון. נלסון פרש מכדורגל באותו קיץ, ולאחר שאימן את ברייטון במשך תקופה קצרה הוא עזב את תחום הכדורגל והחל לעסוק בתעשיית הביטוח. בנוסף, נלסון עובד באצטדיון האמירויות של ארסנל כחלק מסיור מיוחד.
