Karl est issu de la famille noblevon der Goltz. Il est le fils de Leopold Heinrich von der Goltz(de) (1746-1816) et de sa femme Eleonore Juliane, née von Maltzahn (morte en 1798). Son père est lieutenant général prussien et a été élevé au rang de comte prussien le 19 septembre 1786.
Au début de la campagne d'Allemagne, Goltz retourne à Blücher sur le terrain à la demande de Blücher et prend la direction de la chancellerie au siège de Blücher en tant qu'adjudant. Au cours de la campagne 1813/14, Goltz prend une part active aux batailles de Lützen, Katzbach, Leipzig, La Rothière et Laon. Il atteint le grade de général de division et reçoit les deux classes de la croix de fer pour ses réalisations le 13 avril 1814 et les feuilles de chêne pour le Pour le Mérite. Après la chute de Paris, Goltz est nommé commandant de la ville. Il y reste après le retrait des troupes prussiennes et est nommé envoyé extraordinaire et ministre plénipotentiaire à la cour de France. À ce titre, il a été chargé de soigner les malades de l'armée prussienne restés sur place et d'assurer le rapatriement des prisonniers de guerre. Après la Seconde Paix de Paris, Goltz devient un véritable ambassadeur en France. Le roi de France Louis XVIII rend hommage à sa performance en lui décernant l'ordre du Mérite militaire en juillet 1817. À l'occasion de sa visite à Paris, Frédéric-Guillaume III lui remet le 19 août 1817 l'ordre de l'Aigle rouge de 1re classe. Il promeut également Goltz le 30 mars 1818 au grade de lieutenant général.
Famille
En 1807, il se marie avec Julie baronne von Seckendorff (1786–1857) de la branche d'Abedar. Elle est à l'origine la dame d'honneur de la princesse Marianne. Le mariage donne naissance aux enfants suivants:
Leopoldine (1810–1845) mariée avec Ferdinand von Kleist (1797–1867), lieutenant général prussien
Karl Friedrich (1815–1901) marié avec Mathilde comtesse de Lynar (1835–1876)