Na de vroege dood van zijn vader werd hij graaf van Egmont. Waarschijnlijk leidde zijn moeder het graafschap. Zo kon zij in 1540 het graafschap Gavere in een vorstendom omzetten.
Tegen het advies van zijn Genuese admiraal Andrea Doria wilde de keizer in oktober Algiers bezetten. De vloot kwam in slecht weer terecht en het lukte niet om al het materiaal aan land te krijgen. Door een orkaan op 24 en 25 oktober 1541 zonken 150 schepen en uiteindelijk moest het leger zich terugtrekken.
Karel was tijdens de campagne ziek geworden en werd naar Cartagena gebracht. Op de terugweg hadden de schepen echter opnieuw last van slecht weer waardoor het schip van zijn broer op Corsica terechtkwam. Karel werd niet meer beter en overleed in Spanje.