Narodil se jako nejmladší syn císařeFerdinanda I. a Anny Jagellonské v roce 1540 ve Vídni, kde vyrůstal. Již jako desetiletý obdržel vlastní dvůr v čele se svobodným pánem Leonardem Harrachem. Císař Ferdinand I. rozdělil závětí z roku 1554rakouské dědictví mezi své 3 syny (Maxmiliána, Ferdinanda a Karla). Po jeho smrti v roce 1564 připadla nejmladšímu Karlovi vláda ve Vnitřních Rakousích. Arcivévoda Karel II. budoval Vnitřní Rakousy jako samostatné knížectví v rámci Svaté říše římské. Jednotlivé země si však zachovávaly vlastní zemské sněmy. Krátce před otcovou smrtí odpřisáhly Karlovi věrnost štýrské, korutanské a kraňské stavy. Do Štýrského Hradce, sídelního města Vnitřních Rakous, nový arcivévoda natrvalo přesídlil až o rok později, v roce 1565. Ihned zde zřídil centrální úřady. Štýrský Hradec se postupně alespoň na čas stal nejvýznamnějším rakouským městem, zejména poté, co v roce 1583 přesídlil císař Rudolf II. z Vídně do Prahy.
Z pověření svého nejstaršího bratra, císaře Maxmiliána II., odcestoval v letech 1568–1569 do Španělska. Tam se měl původně informovat o zdravotním stavu duševně chorého infanta dona Carlose, syna krále Filipa II. Ten však před Karlovým příjezdem zemřel. Nakonec vedl Karel jednání mezi Madridem a Vídní o sporných otázkách, především o povstání v Nizozemí a dynastických problémech.
Sňatek
V letech 1558–1570 probíhala jednání o možném sňatku s anglickou královnou Alžbětou I., která však vyjednávání neustále protahovala (nikdy se nakonec nevdala). Uvažovalo se i o sňatku se skotskou královnou Marií Stuartovnou. I z tohoto záměru sešlo. Nakonec se Karel jako jednatřicetiletý v roce 1571 oženil se svojí dvacetiletou neteří Marií Bavorskou, dcerou své starší sestry Anny a bavorského vévody Albrechta V., se kterou měl 15 dětí. Jako přesvědčená obhájkyně katolické víry Marie významně ovlivňovala vládu svého manžela i výchovu dětí.
Boje s Turky
Karel se musel také potýkat s nebezpečím turecké expanze, neboť jeho území bezprostředně sousedila s Osmanskou říší. Na hranicích probíhaly neustálé boje. Ačkoliv garance obrany Říše byla především povinností císaře, nemohl Karel na bratrovu pomoc příliš spoléhat a budoval aktivní obrannou linii v Chorvatsku na vlastní náklady sám. Založil vlastní dvorskou válečnou radu a nechal vybudovat pevnost Karlovac (je pojmenována po něm).
Náboženská politika
Jako katolík (i pod vlivem své manželky) se Karel snažil o upevnění katolických pozic v ovládaných zemích. Byl však ve složité situaci, která jej nutila ke kompromisům. Mezi štýrskou šlechtou měli velké zastoupení a vliv protestanti. Karel byl na nich finančně závislý, neboť především obrana před Osmanskou říší byla velmi nákladná. Proto se tedy přes určité snahy o rekatolizaci období vlády Karla II. vyznačuje poměrně velkou náboženskou tolerancí. Úplný přechod zemí ke katolické víře se podařil až Karlovu synovi, pozdějšímu císaři Ferdinandovi II.
V roce 1572 podepsal Karel ve Štýrském Hradci náboženský mír, který zaručil evangelickým pánům a rytířům ve Štýrsku náboženskou svobodu a vedl k velkému rozkvětu protestantismu. O šest let později byla svoboda vyznání rozšířena i měšťany. Poskytnutá svoboda vyvolala nedůvěru u papeže a také byla zárodkem pozdějších sporů. Karel všechny ústupky v náboženských otázkách omezil pouze na svoji osobu a vyloučil možnost, že by zavazovaly i jeho nástupce. Zároveň se také snažil o to, aby se zlepšila všeobecně špatná pověst katolické církve. I proto přivedl do Štýrského Hradce jezuitský řád.
I přes mnohé kompromisy se Karel snažil o způsob vlády blízký absolutismu. Ve výrazném omezení moci stavů a posílení role panovníka však byl opět úspěšný až jeho syn Ferdinand.
Rozvoj kultury a vzdělání
Ačkoliv nebyl Karel tak vášnivým sběratelem a podporovatelem umění jako jeho bratr Ferdinand Tyrolský, přinesl i on mnohé kulturní podněty. Ve Štýrském Hradci založil umělecký kabinet. V roce 1587 nechal stavět mauzoleum v bazilice v Seckau, které patří nejvýznamnějším renesančním památkám v Rakousku. S jeho jménem je spojeno i založení známého hřebčína v Lipici nedaleko Terstu (1580).
Podporoval i vzdělávání. V roce 1585 založil ve Štýrském Hradci univerzitu.
Karel II. zemřel v roce 1590 ve věku 50 let. Je pohřben v Seckau.
Děti
V manželství, trvajícím 19 let, porodila jeho manželka Marie 15 dětí. Poslední z potomků se narodil jako pohrobek, tedy až po Karlově smrti.
HAMANNOVÁ, Brigitte. Habsburkové. Životopisná encyklopedie = Die Habsburger. Eine biographisches Lexikon. Překlad Milada a Milan Kouřimských. 3. vyd. Praha: Brána, 2010. 408 s. ISBN978-80-7243-455-8. S. 198–199. Přeloženo ze čtvrtého, upraveného vydání.
VEBER, Václav, a kol. Dějiny Rakouska. 1. doplněné a aktualizované. vyd. Praha: Nakladatelství Lidové noviny, 2009. ISBN978-80-7106-239-4.
S: také španělský infant T: také toskánský princ M: také modenský princ P: také portugalský infant B: také belgický princ kurzívou jsou rakouští panovníci