בתחילת הקריירה שלו כשחקן נוער ארמסטרונג נדחה על ידי ניוקאסל יונייטד ועל ידי גרימסבי טאון. למרות זאת הוא הצליח באוגוסט 1961 להצטרף לארסנל כשחקן נוער. בתחילת דרכו בארסנל הוא שיחק בעמדת החלוץ, אך תוך זמן קצר הפך לשחקן כנף. הופעת הבכורה שלו במדי ארסנל הייתה ב-24 בפברואר1962, בניצחון 1-0 נגד בלקפול. בעונת הבכורה שלו הוא היה המחליף של אלן סקירטון וג'וני מקלאוד, ובעונת 1963/1964 הוא הפך לחלק קבוע מהסגל הבכיר של ארסנל. בעונה שלאחר מכן הוא החמיץ רק שני משחקים.
ארמסטרונג היה ידוע כשחקן עקבי לאורך רוב הקריירה שלו בארסנל, והוא היה ידוע בזכות האיכות והדיוק של מסירותיו, בעיטות הקרן, וריצותיו הארוכות במגרש; הוא שיחק בעיקר בצד שמאל, אך לעיתים גם בצד ימין של המגרש. לאחר שנים אחדות הוא היה אחד מהשחקנים הבודדים מתקופת בילי רייט (ביחד עם ג'ון סמלס ופיטר סטורי) שהיו חלק מהסגל של ברטי מי, שהחליף את רייט וקטע את בצורת התארים הארוכה של ארסנל.
ארמסטרונג היה אחד משחקני המפתח של ההרכב שזכה בגביע ערי הירידים בעונת 1969/1970 ובדאבל בעונה שלאחר מכן; ארמסטרונג בישל מספר שערים בעונת הדאבל, כולל הבישול לשער של ריי קנדי במשחק נגד טוטנהאם הוטספר, שהיה המשחק שבו הבטיח המועדון את זכייתו באליפות. הוא נבחר לשחקן השנה של המועדון ב-1970.
ארמסטרונג שיחק בארסנל לאורך שנות ה-70, כאשר בין הזכייה בדאבל לסוף העשור המועדון לא מצליח לזכות בתואר נוסף; הוא שיחק בכל עונה כ-30 משחקים. ארמסטרונג לא שיחק רבות תחת טרי ניל, יורשו של מי, ולפיכך החליט בקיץ 1977 לעבור ללסטר סיטי תמורת סכום של 15,000 לירות שטרלינג. הוא הופיע ב-14 משחקים בעונתו היחידה בלסטר, ולפני פרישתו ב-1979 שיחק מספר משחקנים בסטוקפורט קאונטי.
ארמסטרונג הופיע במדי ארסנל במשך 15 עונות מלאות, ולמשך תקופה מסוימת הוא החזיק בשיא ההופעות עבור שחקן – 621 משחקים רשמיים, מתוכן 500 בדיוק בליגה; שיאו נשבר על ידי דייוויד אולירי ועל ידי טוני אדמס. במשחקיו הוא הבקיע 68 שערים עבור ארסנל. ארמסטרונג מעולם לא זומן לנבחרת אנגליה הבוגרת, אף על פי שהופיע פעמים רבות במדי הנבחרות הצעירות; אחת הסיבות העיקריות לכך הייתה שאלף רמזי, מאמן הנבחרת, לא העלה בהרכב שחקני כנף.