Es uno de los lugares más emblemáticos y más visitado de Agres y posiblemente de toda la comarca. La tradición narra que el último día de agosto del año 1484, la Parroquia de Santa María de Alicante se incendió por completo, y que la Imagen de la Virgen desapareció. A la mañana siguiente, en Agres pasó un gran acontecimiento, “ La Venida de la Virgen”. Según cuenta la historia, un pastor, Gaspar Tomas, fue el que encontró a la Virgen, encima de un almez en las ruinas del castillo musulmán. Allí fue donde la Virgen dió al pastor el brazo que le faltaba. Esta será la prueba ante el pueblo de la aparición de la Virgen. La Imagen fue transportada a la iglesia, pero al día siguiente había desaparecido. Y se encontró nuevamente en el lugar donde había aparecido. Por ello, interpretaron que el deseo de la Virgen era ser venerada en aquel mismo lugar, construyéndose en un principio una humilde ermita. A finales del año 1577 se autorizó a la fundación del Convento de la Virgen del Castillo de Agres, gracias a la afluencia de los devotos de la Virgen. El año siguiente comenzaron las obras, y acabó siendo habitado por religiosos franciscanos hasta la segunda mitad del siglo XX.
