E1 Palacio de Diego Colón debió ser iniciado luego de 1510 y algunos suponen que la fábrica debió estar lista en 1514; sin embargo es evidente que la familia Colón lo ocupó mientras se hacían anexos y complementos que podrían haber llegadoEn la década de los años 1950, el arquitecto Javier Barroso, por órdenes del entonces Presidente Rafael L. Trujillo, ejecutó una restauración que produjo críticas por considerarse que la misma tendía más a los aspectos museográficos que a la misma realidad arquitectónica de la obra. Aún no se sabe quién hizo los planos. Los indígenas trabajaron en la obra a principios y luego se incorporaron esclavos negros en los años en que la fábrica fue creciendo y anexando y modificando espacios. Desde un principio lo ambicioso de la obra despertó recelo en la población española que habitaba la isla. Según Otto Schoenrich "tan importante era el palacio que los enemigos del Almirante sugirieron que más bien aquel era una fortaleza cuyo dueño podría alzarse contra el Rey, lo que dio lugar a un examen por un perito que se burló de tal patraña." hasta por lo menos 1540