Al segle x, el bisbe d'Albi, Miron, és citat en el títol de la cessió de terrenys per a la construcció de l'església de Sant-Salvi. El primer esment de l'església data del 940.
L'església es va començar a construir al voltant del segle xii i va ser el major edifici religiós d'Albi fins al segle xiii, quan es va construir la catedral Santa Cecília.
Es va convertir en una tenda de farratge durant la Revolució Francesa fins que l'església va ser retornada al culte en 1811.
El 1873, va començar una restauració interior d'estil neogòtic, sota la direcció de l'arquitecte Bodin-Legendre, amb una decoració establida per Nelli.
Els materials utilitzats reflecteixen les èpoques de la seva construcció. Els fonaments i les parts antigues (del segle xi) són de pedra. Les parts més noves, posteriors a 1220-1240[3], són majoritàriament construïdes de rajola. Aquest canvi no tan sols va ser degut una nova moda sinó també pel menor cost de la rajola, però els elements principals es van construir en pedra per a mantenir una unitat general amb parts preexistents.[4]
Una estàtua de fusta policromada, que data probablement del segle xii, és l'única representació existent del sant; va ser trobada en un àtic i es conserva a la sagristia.
Al fons de l'església, sota l'orgue, hi ha sis estàtues policromades que envolten al Crist que representen al Sanderí, és a dir l'assemblea legislativa tradicional del poble jueu, així com el seu Tribunal Suprem que generalment es troba a Jerusalem; aquestes estàtues semblen una còpia de les de la catedral.[5]