Katastrofiška Trečiosios koalicijos karo baigtis, ir paties Karlo patirtas pralaimėjimas A. Masenai Italijoje, nulėmė, kad jis pradėjo Austrijos armijos reorganizaciją. 1806 m. jis buvo paskirtas vyriausiuoju kariuomenės vadu. Nepaisant to, Penktosios koalicijos karo pradžia buvo Austrijai nesėkminga, Vieną teko evakuoti. Karlas įveikė Napoleono pajėgas Asperno-Eslingo mūšyje, bet po dviejų savaičių Napoleonas puolė vėl ir sutriuškino austrus Vagramo mūšyje. Po šio pralaimėjimo Karlas atsistatydino iš visų užimamų postų. Nuo to laiko jis kariuomenėje nebetarnavo, išskyrus trumpą laikotarpį 1815 m., kai vadovavo Mainco forto įgulai.
1815 m. Karlas vedė Nassau-Veilburgo princesę Henrietą. Su ja susilaukė septynių vaikų. 1822 m. tapo Ciešino kunigaikščiu. Karlas Liudvikas mirė 1847 m. balandžio 30 d. Jo kūnas buvo palaidotas imperatoriškoje kriptoje Vienoje.