Han blev 1800 ledamot av USA:s senat från New York när senator John Laurance avgick. Armstrong själv avgick i februari 1802 och efterträddes av DeWitt Clinton. Clinton avgick redan 1803 för att bli borgmästare i New York. Armstrong ersatte Clinton för en kort tid och efterträdde följande år delstatens andre senator Theodorus Bailey. Armstrong innehade Baileys gamla mandat i klass 1 (Class 1) i fyra månader, innan han avgick på nytt för att bli USA:s minister i Frankrike.
Armstrong ledde USA:s diplomatiska beskickning i Frankrike 1804-1810. Han tjänstgjorde som USA:s krigsminister under president James Madison1813-1814. 1812 års krig pågick under Armstrongs tid som krigsminister och han blev tvungen att avgå när brittiska trupper brände Washington, D.C.
