Hartmann machte zunächst eine Ausbildung bei dem Stuttgarter Unternehmen Standard Elektrik Lorenz (SEL). Er gründete 1971 mit Albin Braig und Werner Fritz in Stuttgart die Firma Karlheinz Hartmann Electronic GmbH, deren damalige Haupttätigkeit das Aufrüsten und Prüfen von Telekommunikationsanlagen war. 1979 wurde zusätzlich eine Leiterplattenfertigung mit eigener Layoutabteilung aufgebaut. Im Zuge des elektronischen Fortschritts entwickelte sich das Unternehmen zu einer festen Größe auf dem Gebiet der Backplanefertigung und -entwicklung.
Hartmann, der jahrzehntelange Erfahrung als Hobbyschauspieler hatte, zog sich ebenso wie Albin Braig nach dem großen Erfolg der Sketchreihe Hannes und der Bürgermeister Anfang der 1990er Jahre endgültig aus der Geschäftsleitung zurück und machte sein Hobby zum Hauptberuf.[2] Er gehörte bis zu seinem Tod zum festen Ensemble der „Komede-Scheuer“ in der Mäulesmühle bei Leinfelden-Echterdingen. Von 2009 bis 2010 war Hartmann auch in der schwäbischen Mundartserie Laible und Frisch als Zeitungsreporter Edwin Spitzer zu sehen. Braig und Hartmann kannten sich bereits seit ihrer Schulzeit in Stuttgart-Weilimdorf. Hartmann lebte in Herrenberg.
Karlheinz Hartmann erhielt im Mai 2017 den Verdienstorden des Landes Baden-Württemberg.[3] 2022 wollte er mit Braig in den Ruhestand gehen, 2023 ging er mit ihm bis zum Sommer auf Abschiedstour. Er war verheiratet.
Er starb nach kurzer, schwerer Krankheit am 29. August 2023 im Alter von 73 Jahren und wurde am 5. September 2023 auf dem Waldfriedhof in Herrenberg anonym beigesetzt.[4][5]