ארמסטרונג הצעיר הצטרף בתחילה לרגימנט המיליציה של פנסילבניה ובשנה שלאחר מכן הוא מונה לשלישו האישי של יו מרסר מהצבא הקונטיננטלי. בתפקידו זה הוא נשא את הגנרל מרסר הפצוע והגוסס משדה הקרב בקרב פרינסטון. לאחר מותו של מרסר ב-12 בינואר1777, היה ארמסטרונג לשלישו של הגנרל הורשיו גייטס. הוא נשאר עם גייטס במהלך קרב סרטוגה ולאחר מכן התפטר מסיבות בריאותיות. ב-1782 ביקש ממנו גייסט לשוב. ארמסטרונג הצטרף למטה של גייסט כשליש בדרגת מייג'ור, תפקיד אותו הוא מילא עד תום המלחמה.
מכתבי ניובורג
בהיותו במחנה עם גייסט בניובורג, ניו יורק, נעשה ארמסטרונג מעורב בקנוניית ניובורג (אנ'). באופן כללי מיוחסת לו כתיבתם של שני מכתבים אנונימיים שהופנו לקציני המחנה. המכתב הראשון, מה-10 במרץ1783, שהוכתר בכותרת "פנייה לקצינים", קרא לפגישה בה יתקיים דיון על תשלומי פיצויים ועל תלונות נוספות עם הקונגרס הקונטיננטלי. בעקבות הוראתו של ג'ורג' וושינגטון בוטלה הפגישה וזומנה פגישה עם דרישות מתונות יותר ב-15 במרץ. במכתב שני נטען שצעדו זה של וושינגטון הראה שהוא תמך בפעולתם.
וושינגטון הצליח לנטרל את המחאה הזאת מבלי שפרץ מרד. בעוד שבמכתבים שנכתבו מאוחר יותר על ידי ארמסטרונג הוא הודה בחלקו בפרשה, מעולם לא התבצעה כל פעולה רשמית שקישרה אותו עם המכתבים האנונימיים.
לאחר המלחמה
מאוחר יותר באותה שנה שב ארמסטרונג לקרלייל. הוא שירת במיליציה של פנסילבניה וכן כמזכיר המדינה של פנסילבניה תחת מושלי פנסילבניה ג'ון דיקינסון ובנג'מין פרנקלין. ב-1784 הוא הוביל את כוח המיליציה שמנה ארבע מאות איש לעימות עם מתיישבי קונטיקט בעמק ויומינג שבפנסילבניה. צעדיו הטקטיים הובילו לזעמן של מדינות ורמונט וקונטיקט השכנות ששיגרו את המיליציות שלהם לאזור. טימות'י פיקרינג נשלח כדי למצוא פתרון למשבר ולמתיישבים התאפשר לשמור על קרקעותיהם. ב-1787 וב-1788 נשלח ארמסטרונג כנציג פנסילבניה לקונגרס הפדרציה (אנ'). הקונגרס הציע לו להתמנות לשופט העליון של הטריטוריה הצפון-מערבית. הוא דחה את ההצעה וכן את כל המשרות הציבוריות שהוצעו לו במהלך 12 שנים הבאות.
סנאטור ושגריר
ארמסטרונג שב לחיים הפוליטיים לאחר התפטרותו של ג'ון לורנס כסנאטור מטעם מדינת ניו יורק. בנובמבר 1800 הוא נבחר לתקופת כהונה שהייתה אמורה להסתיים במרץ 1801. ב-27 בינואר הוא נבחר לתקופת כהונה מלאה שהייתה אמורה להימשך עד 1807, אך ב-5 בפברואר1802 הוא התפטר. למשרתו נבחר דוויט קלינטון שהתפטר ב-1803 ובעקבות כך שב ארמסטרונג למושבו הקודם באופן זמני.
בפברואר 1804 נבחר ארמסטרונג שוב לסנאט כדי למלא את מקומו של תאודורוס ביילי שהתפטר, אך הוא כיהן רק ארבעה חודשים עד שהנשיאתומאס ג'פרסון מינה אותו שגריר ארצות הברית בצרפת. הוא כיהן בתפקיד זה עד 1810 וגם ייצג את ארצות הברית בחצר המלכות של ספרד ב-1806.
על אף שירותו, יכולותיו וניסיונו של ארמסטרונג, משהו באישיותו שידר חוסר אמון. היו לו את כל היתרונות שנבעו מחינוך ומקשרים חברתיים ופוליטיים, יכולת וביטחון עצמי. הוא היה רק בן 54, בדיוק בגילו של מונרו. אך הוא סבל ממוניטין של עצלן ותכחן. כה חזקה הייתה הדעה הקדומה נגדו, עד שהוא השיג רק 18 תומכים מול 15 מתנגדים בהצבעה על אישור מינויו בסנאט, וזאת כאשר שני הסנאטורים מוירג'יניה לא הצביעו כלל והשניים וקנטקי הצביעו נגד. בנסיבות אלו, רק הצלחה צבאית מהמעלה הראשונה יכלה להבטיח אקלים נוח ליריבו של מונרו.[1]
ארמסטרונג ביצע כמה שינויים בעלי ערך בכוחות המזוינים, אך הוא היה משוכנע שהבריטים לא יתקפו את וושינגטון די. סי., עד שהוא לא עשה שום צעד להגנת העיר גם כשנעשה ברור שהיא תהיה מטרתו של כוח פלישה. בספטמבר 1814, לאחר החרבתה של וושינגטון, אילץ אותו מדיסון, שבדרך כלל היה אדם סלחן, להתפטר.
שנותיו האחרונות
ארמסטרונג שב לחוותו והמשיך בחייו השקטים. הוא פרסם כמה ספרי היסטוריה, ביוגרפיות וספרים על חקלאות. ג'ון ארמסטרונג מת ב-1 באפריל1843 באחוזתו, "לה ברג'רי" (לימים נקראה "רוקבי"), שאותה הוא בנה ברד הוק שמצפון לניו יורק והוא נקבר בבית הקברות שבריינבק הסמוכה. לאחר מותו ב-1838 של פיין וינגייט, הוא היה הנציג האחרון של הקונגרס הקונטיננטלי שנותר בחיים והיחידי שדמותו הונצחה בצילום.
חיים אישיים
ב-1789 נשא ארמסטרונג לאישה את אלידה ליווינגסטון, ילדתם הצעירה של השופט רוברט ליווינגסטון ומרגרט לבית ביקמן. אלידה הייתה אחותם של רוברט ר. ליווינגסטון, שכיהן גם הוא בתפקידי ממשל ודיפלומטיה, ושל אדוארד ליווינגסטון שכיהן כמזכיר המדינה של ארצות הברית. ג'ון ואלידה ליווינגסטון הביאו לעולם שבעה ילדים.