Según la leyenda, un pastor encontró una imagen de la Virgen María bajo una escoba, lo que llevó a la construcción del santuario en ese lugar.
El templo destaca por su torre campanario, rematada con una cúpula pintoresca, y una hornacina sobre la puerta que alberga una escultura de la Reina de los Cielos.
La ermita, que data del siglo XVI, se encuentra rodeada por el bosque de castaños de La Alcobilla y podría haber sido construida sobre un santuario más antiguo. Se dice que en este paraje existió una ciudad romana llamada Alcobilla Lliucencia, y aún se conserva una estela con rueda solar empotrada en la antigua casa del santero.
En este santuario se lleva a cabo la Romería de la Alcobilla, el día 8 de septiembre, subiendo en procesión diferentes tallas de vírgenes precedidas de los pendones de cada localidad, al son de gaitas y tambores.