Barrett tunnetaan myös lempinimellä Family Man, joka syntyi jo ennen kuin hänellä vielä oli omia lapsia. Hän aavisti roolinsa bändissä ja alkoi kutsua itseään "Family Man" -nimellä. Myöhemmin hän sai 41 lasta – 23 tytärtä ja 18 poikaa.[2]
Barrett soitti pikkuveljensä Carltonin kanssa Bob MarleynThe Wailers -yhtyeessä, jossa hän oli aktiivisesti mukana yhtyeen albumien työstämisessä. Carlton Barrett murhattiin vuonna 1987 Jamaikalla.