Юность Диего прошла при дворе Их католических величеств, службу при котором он начал пажом в том самом году, когда его отец открыл Америку. Он женился на племяннице герцога Альбы, связанного с королевской семьёй узами родства, надеясь при помощи этого брака вернуть те титулы и привилегии, которых его отец был несправедливо лишён в 1500 году.
После ранней смерти Диего его собственные титулы и усадьбы стали предметом раздора между его пятью отпрысками (два сына, три дочери). В 1536 году его сын Луис окончательно отказался от обещанных деду привилегий в обмен на солидную компенсацию. Местом упокоения останков Диего Колона стал Севильский кафедральный собор.
В Санто-Доминго сохранилось заложенное Диего поместье Алька́сар-де-Коло́н. С годами оно пришло в полное запустение, но в 1950-е годы прошло реставрацию и обращено в музей.
Луис Колон де Толедо и Верагуа (1520-1572)-- старший сын Диего. Первый герцог Верагуа, де ла Вега и маркиз Ямайки, 3-й адмирал Индии. Отец второй герцогини Верагуа и предок всех герцогов Верагуа, начиная с 12-го герцога и вплоть до настоящего времени.
Мария Колон де Кардона и Гуадалест (1511-?)-- супруга Санчо—первого носителя титула. Мать третьего герцога Верагуа и предок всех правителей Гуадалеста вплоть до настоящего времени.
Хуана де ла Куэва (1512-1592) -- мать Марии де ла Куэва (?-1600)
Изабель де Хельвес (1513-1551) -- мать Альворо Колона де Португаля и герцога Кадавала—второго носителя данного титула, бабушка четвёртого герцога Верагуа и предок герцогов Верагуа до 11-го носителя. Затем её потомки носили титул герцогов Альба, в качестве компенсации.
Диего Колон де Толедо (1523-1571) -- отец Диего де Толедо, мужа 2-й герцогини Верагуа,Марии де Анайя и Франциски де Правиа—предка всех герцогов Верагуа, начиная с 12-го герцога, как и её брат Луис.
.svg)
