Karol urodził się w zamku w Vendôme jako syn Franciszka I, hrabiego Vendôme, i jego żony Marii Luksemburskiej. Jego siostrą cioteczną była królowa Szkocji - Maria de Guise. W 1514 Karol uzuskał tytuł para Francji, a hrabstwo Vendôme zostało podniesione do rangi księstwa Vendôme. Karol był wiernym zwolennikiem króla Franciszka I i uczestniczył w bitwie pod Marignan (w czasie wojen włoskich, w 1515). Po 1525, kiedy król znajdował się w niewoli, Karol był członkiem Rady Regencyjnej. Podczas tego okresu ziemiami Karola administrowała jego matka.
Dwaj synowie Karola - Antoni i Ludwik, książę Condé zostali znakomitymi dowódcami wojskowymi i walczyli przeciwko sobie w czasie wojen religijnych (Antoni po stronie katolików, a Ludwik - po stronie hugenotów). Syn Antoniego został królem Nawarry jako Henryk II i królem Francji jako Henryk IV.