Aquí trataremos los orígenes del Santuario y su Hermandad.
En el lugar de la actual ermita de la Oliva, el obispo asidonense Teodoracio erige una iglesia o basílica, aprovechando la existencia de una villa romana. Como ara fundacional se usa un antiguo monumento funerario con inscripción pagana, donde se deja constancia del depósito de las reliquias de los Santos Esteban, Servando y Germán y Justa y Rufina.
Tras la invasión árabe en el año 711, el culto en el lugar se sigue manteniendo. Prueba de ello es el testimonio de una crónica árabe del s. VIII, que atribuye la finalización de una sequía, en pleno verano, a la intervención de María Santísima, quien hizo rebosar el río Barbate.
Ya en 1340, tras la “Batalla del Salado”, se pacifica la comarca definitivamente, iniciándose un culto más firme en la ermita, momento en el que posiblemente se instituya la advocación de «la Oliva» como símbolo de la paz, dando así el nombre a Nuestra Patrona.
Posteriormente, a inicios del s. XV, se erige un nuevo templo de estilo gótico, que fue derribado en el s. XVIII, para edificar la planta del templo actual. Desde entonces, el templo ha sido tutelado por la parroquia del Divino Salvador, bajo la administración de su Hermandad, quien costeaba para su cuidado un ermitaño o santero.
La primera noticia de la existencia de la cofradía es la que nos proporciona el testamento de Leonor García en 1481. Será en el s. XVI cuando vaya tomando mayor fuerza, extendiéndose la devoción a Ntra. Sra. de la Oliva por toda la comarca. A finales del s. XVIII se realiza una refundación de la misma y en 1892, se reorganiza bajo unos nuevos estatutos.
