Karl Joseph era il figlio primogenito del conte Miklós Pálffy de Erdőd (1710-1773) e di sua moglie, Maria Anna Sidonia von Althann. Per parte di suo padre era nipote del feldmaresciallo imperiale Miklós Pálffy e discendente del generale Miklós Pálffy, celebre condottiero nelle guerre contro gli ottomani nel XVI secolo. La famiglia di sua madre era discendente dal generale imperiale Giovanni Ulrico di Eggenberg ed era imparentata coi principi napoletani Pignatelli.
Grande amante e patrono delle arti ed in particolare della musica, fu tra i primi a credere nel crescente talento di Wolfgang Amadeus Mozart che egli ascoltò per la prima volta a Linz nel settembre del 1762 e che contribuì in seguito a far conoscere a Vienna, introducendolo nella buona società imperiale dell'epoca.
Massone, fu membro della loggia La speranza incoronata, passando poi a La nuova speranza incoronata dal 1786.
Dal 1º novembre 1807 ottenne per i suoi meriti al servizio dell'impero austriaco, per mano dell'imperatore Francesco I d'Austria, il titolo di principe ereditario sul cognome, trasmissibile ai suoi discendenti.
Matrimonio e figli
Il 24 aprile 1763 a Vienna sposò la principessa Maria Teresa Anna del Liechtenstein (1741-1766), figlia del principe ereditario Emanuele del Liechtenstein e di sua moglie, Maria Anna Antonia di Dietrichstein-Weichselstädt. Egli divenne pertanto cognato del principe Francesco Giuseppe I del Liechtenstein. La coppia ebbe insieme i seguenti eredi:
József Ferenc de Paula (1764-1827), II principe Pálffy de Erdőd, sposò la contessa Maria Karolina von Hohenfeld
.svg){kind=small}
