Er trat im 1760 im Alter von 17 Jahren in das kaiserlich-österreichische Infanterieregiment „Mercy-Argenteau“ (1769 No. 56) ein. Seinen ersten Kriegseinsatz hatte Mercy-Argenteau während des Siebenjährigen Krieges in der Schlacht bei Torgau am 3. November 1760. Er nahm auch an der erfolgreichen Erstürmung der Festung Schweidnitz im Oktober 1761 teil.
Im Jahr 1773 wechselte er in das Infanterie-Regiment „Königsegg“ und dann wurde er zum Major im Infanterie-Regiment „Laudon“ befördert. Während des 8. Österreichischer Türkenkrieges gegen das Osmanische Reich (1787–1792) kommandierte Graf Mercy-Argenteau dieses Infanterie-Regiment und konnte sich besonders im Kampf um Belgrad im Herbst 1789 auszeichnen.
Mercy-Argenteau, mittlerweile zum Feldmarschall-Leutnant befördert, kommandierte im Frühjahr 1796, unter Beaulieu ein Korps aus vier Brigaden (20 Bataillone und 2 Eskadronen) bestehend. Mercy-Argenteau verlor das Gefecht bei Monte Legino (11. April 1796), und bei der Schlacht bei Montenotte sowie bei Schlacht von Dego gegen die französische Italienarmee.
Von 1796 bis 1805 war Mercy-Argenteau Kommandant der Stadt und Festung Wien. Zu Beginn des Dritten Koalitionskrieges kommandierte Mercy-Argenteau in der Italienarmee unter Erzherzog Karl. Während der Schlacht von Caldiero im Oktober 1805 kommandierte er das Reservekorps des Erzherzogs in San Gregorio.
Nach Ende des Krieges von 1805 ging er in den Ruhestand und wurde am 6. September 1808 zum Feldzeugmeister befördert. Er starb zurückgezogen am 4. Mai 1819 in Wien.
