Kaarle Ludvig oli kiihkokatolilainen ja poliittisilta mielipiteiltään äärivanhoillinen.[1] Hän oli vuosina 1855–1861 Tirolin ja Vorarlbergin kuvernöörinä, mutta erosi tehtävästä, kun keisarikunta siirtyi itsevaltiudesta perustuslailliseen hallintoon.[2][1] Kun Frans Joosefin ainoa poika Rudolfteki itsemurhan vuonna 1889, siirtyi kruununperimysoikeus Kaarle Ludvigille ja hänen jälkeläisilleen.[3]
Avioliitot ja lapset
Kaarle Ludvig oli naimisissa kolmesti.
Hänen ensimmäinen puolisonsa vuonna 1856 oli serkku, Saksin prinsessa Margareta (1840–1858) kanssa, joka kuoli vain 18-vuotiaana lavantautiin ehtimättä saada lapsia.
Toinen puoliso vuonna 1862 oli Molempain Sisiliain prinsessa Maria Annunziata (1843–1871), kuoli 28-vuotiaana keuhkotuberkuloosiin. Heille syntyi kolme poikaa ja yksi tytär.
Kolmas puoliso vuonna 1873 oli Portugalin prinsessa, infanta Maria Teresa (1855–1944), heillä oli kaksi tytärtä.
Kaarle Ludvigin poikia toisesta avioliitosta olivat kruununperijäksi isänsä jälkeen tullut arkkiherttua Frans Ferdinand, tulevan keisarin Kaarle I:n isä arkkiherttua Otto sekä arkkiherttua Ferdinand Kaarle. Kaarle Ludvigin tyttäristä Margarethe Sophie nai Württembergin herttua Albrechtin ja Elisabeth Amalie päätyi Liechtensteinin ruhtinattareksi.[4]
Hän oli arkkiherttua Franz Ferdinandin isä, jonka salamurha vuonna 1914 laukaisi ensimmäisen maailmansodan. Hän oli poikansa arkkiherttua Otto Franzin kautta myös Itävallan viimeisen keisarin, Kaarle I:n isoisä ja tyttärensä arkkiherttuatar Elisabeth Amalien kautta Liechtensteinin kuningassuvun esi-isä.
