Por la pérdida de sus libros primitivos, y de los libros de actas con anterioridad a 1892, no se sabe a ciencia exacta la fecha fundacional de la Hermandad de Ntra. Sra. De la Oliva, los primeros indicios se remontan al año de 1595, cuando D. Lorenzo Patiño, clérigo de la Iglesia Parroquial del Salvador, como Hermano Mayor de la Cofradía de Ntra. Sra. de la Oliva, de su pecunio particular, encargó la hechura de una nueva imagen de Nuestra Señora De la Oliva al insigne imaginario sevillano Martín Alonso de Mesa y Villavicienso, (Así consta en las escrituras de propiedad de fecha el 17 de Octubre de 1595), por lo tanto la existencia de la Hermandad se puede decir que se fija en el siglo XVI, o anterior si se toma como referencia la existencia de la Ermita de la Oliva pues es citada por Agustín de Horozco.

El santuario de la Oliva, situado a unos cinco kilómetros de Vejer de la Frontera, construido en las inmediaciones de una antigua Iglesia Visigótica, que fué consagrada el 15 de Enero del año 684 de la Era Cristiana, según el P. Fita, por el Obispo de Asidona, Teodoracio, el año septimo de su pontificado, conteniendo el ara reliquias de los Santos Esteban, Servando y Germán, Justa y Rufina.

Los primeros estatutos que se conocen de la Hermandad, y que se conservan en sus archivos datan del año de 1892, sufriendo diferentes modificaciones y adaptaciones a lo largo del siglo pasado, hasta los actuales que datan de 1980 reformados en aras de adaptación al nuevo Reglamento Base Diocesano, que son los que actualmente se encuentran en vigor.

Desde tiempo inmemorial todos los años la Imagen de la Virgen, el día de 10 de Agosto es traída a hombros desde su Santuario a la Iglesia Parroquial del Divino Salvador donde está eregida canónicamente, para celebrar las fiestas patronales, con la procesión de Ntra. Sra. el día 15 de Agosto, Festividad de la Asunción y de todas las Olivas vejeriegas, regresando el 24 de Agosto de nuevo al Santuario donde permanece durante todo el año.

En el año de 1885, concretamente el día 7 de Mayo, por su Santidad León XIII, se nombra Patrona de la Ciudad de Vejer de la Frontera y su Comarca a la Santísima Virgen de la Oliva, continuándose todos los 7 de Mayo de cada año con la celebración del Patronazgo en el Santuario, celebrándose con gustoso e importante evento su primer centenario en el 1985, siendo obispo Diocesano de Cádiz D. Antonio Dorado Soto.

En el año de 1996, por nuestro actual Obispo D. Antonio Ceballos Atienza, se coronó canónicamente a la Virgen de la Oliva, el día 15 de Agosto, Festividad de la Asunción de nuestra Señora, y el día más grande para todos los vejeriegos.