Karel Jozef Emanuel Johan Nepomuck Anton Prokop was de favoriete zoon van zijn ouders en kwam daardoor vaak in ruzie met zijn oudere broer, de latere keizer Jozef II.
Later in 1765 trouwde de jongere broer van Karel Jozef, de toekomstige keizer Leopold II, met zijn verloofde zodat het verbond tussen het Huis Habsburg en het Huis Bourbon toch nog tot stand kwam.