In 1662 overleed zijn oom Leopold Willem van Oostenrijk. Karel Jozef erfde diens vermogen en kunstverzameling en volgde hem ook op als prins-bisschop van Olomouc en Passau en als grootmeester van de Duitse Orde. Ook werd hij op 23 februari 1663 als opvolger van zijn oom tot prins-bisschop van Breslau verkozen. De verkiezing werd op 23 april 1663 door paus Alexander VII bevestigd. Sebastian von Rostock, de aartsdiaken van Breslau, werd zijn coadjutor.
Karel Jozef, die niet tot priester was gewijd noch meerderjarig was, kon zijn ambten en titels nooit uitoefenen, aangezien hij in januari 1664 op veertienjarige leeftijd overleed. Net als zijn ouders en een groot deel van zijn familie werd hij bijgezet in de Kapuzinergruft in Wenen. Zijn hart werd uit zijn lichaam gehaald en bijgezet in de Herzogsgruft in Wenen.