Tijdens de Renversement des Alliances, voorafgaand aan de Zevenjarige oorlog koos Karel Eugenius de zijde van Oostenrijk en Frankrijk tegen Pruisen en Engeland, waardoor zijn vriendschappelijke betrekkingen met Frederik II van Pruisen verbroken werden. In 1756 is hij door zijn vrouw verlaten. Het huwelijk werd niet ontbonden en Elisabeth Frederika Sophie bleef hertogin van Württemberg. Karel Eugenius en de staten van Württemberg verbonden zich er toe jaarlijks 54.000 gulden te betalen voor haar onderhoud. Als tegenprestatie kreeg Karel Eugenius het recht haar huishouding in te richten.[bron?] Vervolgens hield hij er meerdere maîtresses op na: Luisa Toscani, Teresa Bonafoni, Anna Eleonora Franchi, Katharina Kurz en Regina Monti.
Tijdens de hoogtijdagen van het absolutisme spiegelde hij zich aan het hof in Versailles en poogde hij van zijn eigen hof een der schitterendste van Europa te maken. In 1751 werd de heerlijkheid Justingen verworven en na 1781 het halve graafschap Limpurg. Hij raakte in conflict met Johann Jakob Moser, die in 1770 de "Erbvergleich von 1770" tot stand bracht.
Barokke gang in slot Ludwigsburg
Carl Eugen had een grote voorliefde voor barokmuziek. In 1753 werd Niccolò Jommelli zijn hofcomponist. In 1758 stichtte hij een theater en een porseleinmanufactuur in Ludwigsburg. In 1760 benoemde hij Pietro Nardini als concertmeester; ook Henri-Joseph Rigel kreeg een aanstelling. Tussen 1762 en 1769 was hij meerdere malen aanwezig bij het Carnaval van Venetië. In 1764 verhuisde Carl Eugen zijn hof (terug) naar Slot Ludwigsburg. In 1769 werd Jommelli ontslagen; in 1770 benoemde hij Philipp Matthäus Hahn, die een rekenmachine had ontworpen. In 1773 liet hij de dichter en criticus Christian Friedrich Daniel Schubart uitwijzen en in 1777 terug lokken en gevangennemen. Ook verbood hij Friedrich Schiller, die een schrijfverbod had opgelegd gekregen, het land te verlaten. Schiller ontvluchtte het hertogdom nog binnen het jaar (1782).
In 1787 werd Schubart vrijgelaten en in ere hersteld en werd benoemd tot muziek- en theaterdirecteur en stuurde hij Johann Friedrich Pfaff naar Göttingen.
In 1780 huwde hij beneden zijn stand met zijn maîtresse Francisca van Leutrum (1748-1811). Zij zou een gunstige invloed op hem gehad hebben. Op latere leeftijd hield Carl Eugen zich bezig met landbouw en opvoedkunde en werd hij een zorgzaam landsvader.
Zijn hele regeerperiode ging gepaard met de strijd tussen de hertog en zijn onderdanen. De vreemde methode van belasting ophalen zorgde voor veel onrust.[bron?] De interventie van de keizer [bron?] en van buitenlandse mogendheden [bron?] zorgde ervoor dat in 1770 een formele regeling kwam die een aantal van de grieven van de onderdanen wegnam. Zijn leger werd teruggebracht naar de grootte die het had rond 1739.
