Жарко Броз је рођен 2. фебруара 1924. у Великом Тројству.[2] Био је четврто дете Јосипа Броза и совјетске држављанке Пелагије Белоусове.[3] Жарков најстарији брат је умро након рођења, а још један брат Хинко и сестра Златица су исто умрли рано. Детињство је провео у Москви. Након избијања Великог отаџбинског рата, он се у доби од 17. година пријавио у Црвену армију. Тамо је напредовао до официрског чина, те се истакао у борби, добивши два одликовања, а у борбама за Москву је изгубио руку.
Женио се три пута: 1947. године се оженио са Рускињом Тамаром Вегер, са којом је добио двоје деце – сина Јосипа Јошку (рођен 1947) и ћерку Златицу (рођена 1948).[3] У другом браку, са Терезом Кујунџић је добио сина Едварда (рођен 1951), у трећем браку, са Златом Јелинек, добио је ћерку Светлану (рођена 1955).
Уочи распада Југославије је живео у Београду. Био је међу првима у месној заједници 4. јул који је гласао на парламентарним изборима у Србији 1993, а том приликом је за новинаре изјавио да Ко год да победи, добри бити неће.[5]
