El 7 de mayo de 1885, ante la petición de la hermandad y el Cabildo Vejeriego, el Papa León XIII declara a Ntra. Sra. de la Oliva, Patrona Principal de Vejer de la Frontera y su comarca. Desde entonces, cada 7 de mayo, los vecinos de Vejer y la población hermana de Barbate, se reúnen en los contornos del santuario, pasando un agradable día campestre, para festejar dicho día y renovar el patrocinio de la Santísima Virgen. La misa solemne se celebra en la mañana, con la asistencia de las autoridades civiles y eclesiásticas y por la tarde la imagen de la Virgen de la Oliva sale en procesión por los aledaños de su santuario para el rezo del Santo Rosario.
En tiempos recientes, la cofradía celebró el 100 aniversario de la proclamación de la Santísima Virgen de la Oliva como Patrona de Vejer y su comarca en 1985, momento en el que le fue concedida la primera Medalla de Oro de la Ciudad de Vejer, siendo Hermano Mayor D. Juan Morillo Crespo. Asimismo, en 2010, la hermandad volvió a festejar dicha efeméride en su 125 aniversario, siendo Hermano Mayor D. Juan Melero Melero. En ambas ocasiones, la imagen de la Virgen subió de manera extraordinaria a Vejer para recibir cultos en su honor.
