Графство было образовано в 960 году, когда земли графа Фезансака, Гийома Гарсии, после его смерти разделили между сыновьями и Арманьяк наследовал его младший сын Бернар I. В дальнейшем графы д’Арманьяк приносили оммажграфам Тулузы (с конца XII века) и далее — напрямую английским монархам. После присоединения Фезансака к Арманьяку вследствие брака графа д’Арманьяк Жеро III и наследницы Фезансака Аниселле, первый дом д’Арманьяков угас в 1215 году со смертью Жеро IV д’Арманьяка. Ему наследовал двоюродный брат Жеро де Ломань, виконт де Фезансаге, ставший основателем второго дома д’Арманьяков (ещё известного как де Ломань).
Этот граф д’Арманьяк умер без наследников и его наследство перешло в 1525 году Генриху д’Альбре, который взял в жёны овдовевшую графиню д’Арманьяк. Король Франции Генрих IV присоединил графство д’Арманьяк к землям короны Франции в 1607 году.
В 1645 году 7-летний король Франции Людовик XIV передал эти земли графу Анри де Лоррен-Гаркуру, чьи потомки держали графство вплоть до 1751 года, после чего Арманьяк снова вернулся в королевский домен.