Ён пачаў службу ў прускай арміі ў часы сямітыднёвай аўстра-прускай вайны1866 года, падчас франка-прускай вайны быў паранены двойчы і быў узнагароджаны Жалезным крыжам (другога класа) за адвагу. Яму было нададзена званне генерала ад інфантэрыі ў 1906 годзе, у 1913 годзе быў прызначаны генеральным інспектарам VIII-й армейскай інспекцыі.
З пачаткам Першай сусветнай вайны ён быў прызначаны камандуючым 1-й арміі, утворанай на базе падначаленай яму інспекцыі, у чыю задачу, згодна з Планам Шліфена, уваходзіў наступ на правым крыле Заходняга фронту па тэрыторыі Бельгіі з мэтай акружэння Парыжу з захада.
У канцы сакавіка 1915 года падчас агляду перадавых частак сваіх войскаў ён быў паранены асколкамі шрапнэлі, што сур’ёзна пашкодзіла нагу. Неўзабаве пасля гэтага ён атрымаў ордэн Pour le Mérite. У кастрычніку 1916 года фон Клюк перайшоў на атрыманне паловы акладу ў адпаведнасці з яго просьбай сысці ў адстаўку.
Яго сын, лейтэнант Эган фон Клюк, быў забіты ў пачатку 1915 года.