Vejer va estar poblada des del paleolític i ja estava fortificada a l'edat del bronze. En època preromana es va denominar Besaro i s'han trobat restes del segle vii aC sota les muralles actuals. Durant l'etapa romana passa a denominar-se Baesippo. En el 711 va passar a mans musulmanes després de la batalla de la Janda, en la qual els musulmans, comandats per Tàriq ibn Ziyad, van derrotar Roderic.
Placa que esmenta la reconquesta del municipi per les tropes cristianes en el segle xiii.
Durant cinc segles i mig va romandre sota domini musulmà, denominant-se Besher. Queden vestigis com la porta del castell (Segle XI), part de les muralles i l'entramat dels seus carrers. Vejer va tornar a mans cristianes dos cops. El primer, el 1250, regnant Ferran III de Castella "El Sant", i va tornar a mans àrabs al juny de 1264, després d'una revolta en la qual van prendre per força el castell.
La segona i definitiva es va iniciar a l'agost de 1264, expulsant els mudèjars i va acabar en 1285. Aquest mateix any, Sanç IV de Castella concedeix a l'Orde de Sant Jaume el senyoriu sobre Vejer para consolidar el territori de manera més ràpida, encara que aquesta ordre mai va prendre possessió de Vejer. En 1307, després d'una segona repoblació, passa a ser senyoriu de Guzmán el Bo, que des de 1299 era ja amo del senyoriu de les almadraves de tota la zona de l'Estret de Gibraltar, i després de prendre Tarifa, es va convertir també en el defensor de l'Estret, arribant a ser amo i senyor, després del rei, d'aquestes terres. D'ell heretarien els Ducs de Medina-Sidonia.
Durant els segles xv i xvi, Vejer va estar dominada pels Guzmanes, i ja en l'edat moderna el poble es va enfrontar, amb Juan Relinque al capdavant, contra els Ducs de Medina-Sidonia pel control de les terres comunals, denominades Hazas de Suerte. Va ser declarat Conjunt Històric-Artístic el 1976.
.svg)
.png)
