El Alcázar de Colón fue construido entre 1511 y 1514, siguiendo las influencias del existente en Mancera de Abajo, en Salamanca (España), del que aún se conservan ruinas. Se desconoce el nombre del arquitecto que llevó a cabo la edificación de este palacio fortificado. De estilo góticomudéjar mayormente, el Alcázar tiene también algunas características renacentistas, notable en sus arcadas, así como del estilo isabelino observables en las borlas que lo adornan. El edificio se construyó utilizando mampostería de rocascoralinas. Originalmente la residencia tenía 55 habitaciones, de las cuales se conservan sólo 22.
Es la única residencia conocida de algún miembro de la familia Colón, además de la casa natal de Cristóbal que se encuentra aún en Génova. En el palacio nacieron Juana, Isabel, Luis y Cristóbal Colón de Toledo, hijos de don Diego Colón y su esposa doña María Álvarez de Toledo. Diego Colón murió en España en 1526 pero María Álvarez de Toledo, su viuda, permaneció en él hasta su fallecimiento en 1549. Tres generaciones de la familia Colón de Toledo lo habitaron, posiblemente hasta el año de 1577.
La propiedad del palacio fue objeto de litigio por cerca de dos siglos a partir de ese año. Posiblemente en 1586 el pirata inglés Francis Drake, durante su invasión de La Española, destruyó o se llevó objetos de valor de la antigua casa de Diego Colón.
El Alcázar iluminado por la noche.
Eventualmente fue abandonado y el paso del tiempo empezó a hacer estragos en la estructura del palacio. Para 1776 el edificio estaba en ruinas y se pensó reconstruirlo para convertirlo en cárcel pública, proyecto que no se llevó a cabo. En 1779 empezaron a hundirse sus techos. Hay evidencias de que para 1783 las ruinas de la casa de Diego Colón servían para encerrar animales. En 1870, para proteger sus ruinas, fue declarado Monumento Nacional.
La restauración fue realizada entre 1955 y 1957 por encargo del gobierno dominicano y fue llevada a cabo por el arquitecto español Javier Barroso.
