San Mateo es considerado el barrio más antiguo de la ciudad y la plaza del mercado el corazón del Jerez amurallado. En la visita de los reyes católicos por primera vez en la ciudad por el año 1477, se realizaron unos juegos cañas y espectáculos con toros.[2]
Reconocido es el popular Rincón Malillo, zona del barrio de la que existen diferentes leyendas medievales sobre su peligrosidad y de la que ha servido de inspiración para la composición de la sinfonía del mismo nombre escrita por el compositor German Álvarez Beigbeder.
Las diferentes alteraciones urbanísticas hicieron que Rincón Malillo fuera poblado por cascos de bodega. En uno de ellos, se encuentra actualmente la Pinacoteca Rivero, conocida también como Pinacoteca de Bodegas Tradición, donde se expone una selección de obras españolas de la Colección Joaquín Rivero. Esta colección, que cuenta con más 300 cuadros pertenecientes a artistas como Zurbarán, El Greco, Goya, Velázquez, Hiepes, Labrador, Valdés Leal, Maella, Lucas Velázquez, Madrazo, Eugenio Lucas Villaamil, Carlos de Haes y otros, abarcando de los siglos XV al XIX. considerada la colección privada más importante de Andalucía y de las más relevantes actualmente en España.
En 1884 el gobierno español ejecutó en la plaza del mercado del barrio de San Mateo a 4 de los supuestos integrantes de la organización secreta anarquista La Mano Negra.[3] A día de hoy no se ha aclarado que ocurrió por aquel entonces y si existió verdaderamente la organización, y algunas organizaciones, como la CNT de Jerez, piden esclarecer los hechos.