Das Zentrum des Armagnac ist das mittlere Tal der Baïse, davon ausgehend ist eine West-Ost-Achse in der Höhe von Eauze und Auch festzustellen. Man unterscheidet:
das Haut-Armagnac oder Armagnac blanc, mit kalkigen Böden und Maiskulturen,
das Bas-Armagnac oder Armagnac noir, bestehend aus den Tälern der Douze und des Midou, sowie:
Die Auscii (Ausker) von Elimberrum (Auch) und die Elusaten von Elusa (Eauze) sind die Völker, die zu dieser Gegend gehören, die in der Antike Teil der römischen Provinz Aquitanien war. Später gehörte das Gebiet zur Gascogne, dann zur Grafschaft Fézensac.
Als Grafschaft wurde das Armagnac im 9. Jahrhundert aus der Grafschaft Fézensac von Graf Wilhelm Garcia ausgegliedert; Graf von Armagnac wurde Wilhelms jüngerer Sohn Bernard le Louche.
Im Jahr 1140 vereinigte Graf Géraud III. Armagnac und Fézensac wieder, nachdem seine Frau Alaline ohne Erben aus ihrer ersten Ehe gestorben war. Das erste Grafenhaus von Armagnac erlosch im Jahr 1215 mit seinem Enkel Géraud IV. Die Grafschaft Armagnac ging auf die Familie Lomagne über, die von einer Tochter Gérauds III. abstammte.
Das Haus Armagnac spielte eine wesentliche Rolle beim Widerstand gegen den „Schwarzen Prinzen“ Edward of Woodstock, der um das Jahr 1370 den Widerruf des Vertrags von Brétigny und die Rückeroberung Aquitaniens erreichen wollte. Jean I. und Arnaud-Amanieu d’Albret waren die Anführer einer Bewegung, die die Klagen der gaskonischen Herren gegen die Urteile und Entscheidungen des Schwarzen Prinzen vor das Parlament brachten.
Nachdem das Armagnac vom Grafen Jean V. beschlagnahmt und seinem Bruder Karl zurückgegeben worden war, ging die Grafschaft schließlich an deren kleinen Neffen Karl von Alençon über, den Ehemann der Margarete von Angoulême, Schwester des späteren Königes Franz I. Margarete brachte das Armagnac in ihre (zweite) Ehe mit Henri d’Albret ein, beide sind die Großeltern des Königs Heinrich IV., mit dem das Armagnac endgültig in die Hände der Krone überging.