La Torre de las Palomas fue construida entre los años 1547 y 1602 y concebida como el espacio fortificado de refugio que debía proteger a los monjes jerónimos en caso de sufrir un ataque de los piratas berberiscos. Cuenta con seis niveles en su interior, aunque la distribución original ha sufrido modificaciones con el tiempo. Es el elemento más visible e identificativo de un monasterio con más de seis siglos de historia, que alcanzó gran notoriedad gracias al mecenazgo de la familia Vich. Una parte de los valiosos fondos pictóricos que albergó se conservan en el museo San Pío V de Valéncia.
