La primitiva ermita situada en la falda del cerro de la Vega y de la que aún quedan, aunque no por mucho tiempo, restos en pie, comenzó a construirse en 1644. Se erige sobre los restos del primitivo «Añover bajo» y probablemente no muy lejos de los de su iglesia parroquial de Santa María.

Su construcción fue responsabilidad del maestro Pedro Díaz de Mejorada, vecino de Añover y que también dirigió las obras de la actual torre de la iglesia Santa Ana y de la iglesia parroquial de Villaseca de la Sagra.

Con el paso del tiempo se fue arruinando y ya en el siglo XX se construyó una nueva ermita en la parte superior del cerro, donde algún día se ubicaba un pequeño castillo. Debido a la inestabilidad del terreno, la ermita quedó rápidamente inservible y fue tirada abajo hace pocos años.

La actual ermita de la Virgen de la Vega se erigió en la ladera donde se sitúa el centro urbano de Añover frente a la Vega que la vio nacer.