Karel se narodil jako druhý (avšak jediný přeživší) syn knížete Antona Aloyse von Hohenzollern-Sigmaringen (1762–1831) z jeho manželství s Amalií Zephyrinou (1760–1841), dcerou knížete Philippa Josepha von Salm-Kyrburg. Jeho matka považovala život v malém provinčním Sigmaringen, kam přišla v roce 1784, za „„nesnesitelně stísňující““ a deset týdnů po porodu svého druhého (v podstatě však jediného) syna zanechala dítě v Sigmaringen a převlečená za muže prchla nejprve ke svému bratrovi do Kirnu a posléze do Paříže, kde strávila větší část svého života. Zde zabránila mediatizaci hohenzollernských knížectví. Svého jediného syna hodlala oženit co nejlépe a za změněné politické situace po francouzské revoluci a po nástupu Napoleona na francouzský trůn se nejvýhodnější jevilo spojení s Napoleonovou rodinou; naplánovala tedy sňatek Karla s neteří Caroliny Bonaparte, nejmladší sestry Napoleonovy.
Manželství, potomci
Plány se podařilo dovést k úspěšnému konci a Karel, který platil za spíše ostýchavého, se tedy oženil 4. února roku 1808 v Paříži s Antoinette (1793–1847), o osm let mladší dcerou Pierre Murata, bratra neapolského králeJoachima Murata, Napoleonova maršála a švagra (manžela jeho nejmladší sestry Caroline). Nerovný sňatek byl pruským panovnickým domem smluvně uznán, aby děti z něho vzešlé byly legitimizovány.
Z tohoto manželství se narodily čtyři děti – syn a tři dcery:
Polních tažení napoleonských válek se účastnil Karel jako příslušník francouzské armády a často byl v osobních službách Napoleonových, roku 1813 však přešel na stranu spojenců.
Roku 1831 po smrti svého otce se stal knížetem von Hohenzollern-Sigmaringen, již předtím však se významně účastnil vládních záležitostí. Roku 1833 svolal ustavující zemský sněm a vyhlásil přitom ústavu jako zemský zákon knížectví. Roku 1838 povolal Ludwiga Hasenpfluga do čela vnitřní správy knížectví. Založil zemskou nemocnici a nechal postavit veřejné budovy na Leopoldově náměstí (Leopoldplatz) v Sigmaringen (dnes sídlo Hohenzollernské zemské banky).
Karlovou zásluhou bylo také zrušení nevolnictví, založení Antonovy a Karlovy ulice v Sigmaringen a řady dalších staveb. Byl považován za velmi sečtělého a vedl korespondenci s významným vědcem Alexandrem von Humboldtem.
Za revolučních událostí v roce 1848 odstoupil Karel 25. srpna z trůnu knížectví ve prospěch svého liberálně vzdělaného a liberálně smýšlejícího syna Karla Antona.
Zemřel 20. února roku 1785 v Bologni na cestě do Říma.
Gustav Schilling: Geschichte des Hauses Hohenzollern in genealogisch fortlaufenden Biographien aller seiner Regenten von den ältesten bis auf die neuesten Zeiten, nach Urkunden und andern authentischen Quellen. Fleischer, Leipzig 1843, S. 300ff.
Heinrich August Pierer: Pierer's Universal-Lexikon der Vergangenheit und Gegenwart: oder, Neuestes encyclopädisches Wörterbuch der Wissenschaften, Künste und Gewerbe, Band 9, 1860, S. 315.