La parte superior del cerro del Castell es la de más alto valor estratégico, el último bastión a defender. Por eso, es allí, sobre restos islámicos, donde a lo largo del siglo XIV se construye un palacio fortaleza con relación a la fundación de la villa de Dénia. Posteriormente, a principios del siglo XVII, el complejo medieval sería integrado en un espléndido palacio renacentista, bajo la égida de Francisco Gómez de Sandoval y Rojas, duque de Lerma y V marqués de Dénia. Las posteriores guerras, la de Sucesión y, especialmente la Guerra del Francés, arruinarían casi por completo la construcción palaciega a excepción de la escalinata de estilo imperial que todavía se puede admirar.