El colegio San Antonio Abad de Gilet se levantó junto a una torre de vigilancia, cuya construcción data de finales de 1580. La torre, de 25 metros de altura, emblema de Gilet y referencia para el colegio, está catalogada como Bien de Interés Cultural (BIC) y actualmente alberga la biblioteca del centro.
La falta de presupuesto de la iglesia impidió su restauración durante la construcción del colegio, para el que fue necesario el derribo de la Casa Abadía. Años después y gracias a la firma de un convenio , Patrimonio se hizo cargo de la actuación en el monumento y la iglesia la cedió al consistorio para instalaciones municipales, en concreto para ubicar la biblioteca. Tras la construcción del centro cívico de Gilet, ésta se trasladó y la torre volvió a tener el uso que tenía antaño, servir para la vigilancia, aunque en este caso de libros.
