Cuenta la leyenda que un cabrero de la villa, mientras cuidaba su ganado por terrenos circundantes a la ermita y El Cabril, encontró un día una muñeca de trapo entre unas matas. La guardó en su zurrón para regalársela a su hija pequeña al finalizar la jornada. Al llegar a casa, la muñeca había desaparecido. Al día siguiente, ocurrió exactamente lo mismo. El pastor decidió dar cuenta entonces del suceso a las autoridades religiosas y civiles de Monroy, coincidiendo todos en que se trataba de un milagro. Ante tal evidencia, decidieron levantar la ermita en un lugar elevado, justo donde hoy se encuentra la Cruz. Los albañiles, cuando acudían a diario para continuar con la obra, comprobaban atónitos que lo construido el día anterior se hallaba derruido. Al ver que sucedía día tras día y la construcción de la ermita no avanzaba, preguntaron al pastor por el lugar exacto en el que halló la muñeca. Éste les condujo al punto concreto y fue allí donde decidieron levantar el nuevo templo. Dicho emplazamiento es el enclave en el que actualmente se halla la ermita.

La ermita de Santa Ana es el centro de las celebraciones del Lunes de Albillo. El templo alberga imágenes de Santa Ana y la Virgen, San Joaquín, San Juan y San Isidro. El edificio fue levantado en el siglo XIX.