Il riutilizzo di blocchi e colonne antichi ha portato a lungo a credere che la cattedrale sia stata costruita su un antico monumento.
Scavi archeologici effettuati nel 1920 hanno individuato i resti di una chiesa del VII secolo posti ad ovest della facciata e in parte coperti da costruzione romanica. I numerosi sarcofagi rinvenuti all'interno testimoniano un costante utilizzo funerario fino al XII secolo.
Nuovi edifici furono costruiti in epoca carolingia, costituendo un complesso vescovile, dedicato alla Vergine, Santo Stefano e San Giovanni. Il complesso comprendeva un atrio che fu riutilizzato come chiostro in epoca romanica e gotica. Doveva trovarsi a sud dell'attuale edificio. Frammenti di capitelli sono oggi conservati nel Museo Archeologico della città.
Edificio attuale
La cattedrale ha conosciuto tre stati successivi.
Una cattedrale romanica, edificata sul sito di edifici più antichi (in particolare di epoca romana), fu consacrata nel 1096 da papa Urbano II, anche se i lavori certamente sconfinarono nel XII secolo. Di questo periodo restano alcuni tratti di facciate: un muro a gabbia sormontato da un vecchio campanile agganciato all'attuale campanile che ospitava le prime campane. La facciata è scandita, in parte, da arcate lombarde, e da un frontone triangolare “all'antica” tipico dell'arte romanica provenzale, che ospita nella parte sinistra una suite in bassorilievo dell'Antico Testamento. La facciata presenta un fregio romanico di cui sono ancora visibili i primi sette dipinti.
Durante le guerre di religione, Notre-Dame-et-Saint-Castor fu gravemente danneggiata due volte dai riformati, nel 1567 e nel 1621. Fu distrutto anche uno dei due campanili della sua facciata, detta “Torre del Tesoro”, a sud. Questa torre era paragonabile alla torre Fenestrelle di Uzès, salvo che era a pianta quadrata e più alta della seconda secondo i progetti di Poldo D'Albenas del XVI secolo. Aveva anche archi gemelli (come a Uzès). Furono i protestanti a partecipare finanziariamente alla ricostruzione della navata. Solo la torre nord-ovest è sfuggita alla distruzione e fungeva da posto di osservazione.
Una seconda cattedrale fu costruita nel XVII secolo sotto la guida del vescovo Cohon nell'allora stile classico. Risale a questo periodo la struttura dell'edificio attuale: ad un unico vaso con cappelle laterali, voltata a costoloni. A questo periodo risale la notevole cappella barocca del Rosario, nel prolungamento del coro, prospiciente l'ambulacro all'estremità orientale dell'edificio; è coronato da una lanterna ed è stato restaurato circa 10 anni fa.
Nel 1822, il portale romanico, relativamente piccolo, fu demolito insieme alle sculture adiacenti dello stesso periodo per creare l'attuale porta neoclassica con frontone triangolare in onore della visita della duchessa d'Angoulême per consentire il passaggio del suo baldacchino.
Infine, tra il 1877 e il 1882, l'architetto Henri Antoine Révoil, architetto dei Monumenti Storici del Mediterraneo, vestì l'interno della cattedrale classica in stile romano-bizantino. La terza cappella sul lato sud ospita un pannello di sarcofago paleocristiano, nonché la tomba del cardinale de Bernis. La cattedrale fu consacrata basilica minore il 27 ottobre 1882 ed è stato classificato come monumento storico nel 1906. Henri Antoine Révoil non fu tuttavia autorizzato a rimodellare la facciata principale in stile neoromanico.
La torre nord - il cui ultimo piano è in stile gotico - termina con un'altana alla quale si accede da una torretta con scala a chiocciola; è alto circa 40 m. L'altezza sotto le volte della navata è di 20 m. Non si tratta però di un edificio di grandi dimensioni, poiché la navata misura solo 55 metri di lunghezza. La cattedrale è inoltre superata in superficie dalla chiesa di Saint-Baudile.
L'organo
L'organo della cattedrale fu costruito a partire dal 1643 da Gaspard e André Eustache, su richiesta del vescovo di Nîmes. Risale a questo periodo il grande buffet, le cui sculture furono realizzate dal marsigliese Christophe Noiratte e dall'avignonese Michel Péru, quest'ultimo avendo scolpito i due cherubini che fiancheggiano il cornicione della grande torretta centrale e i tre santi che incoronano il grande corpo.
Nel corso dell'Ottocento lo strumento subì numerose riparazioni nel 1808, 1824 e 1834. Il restauro più importante fu affidato alla casa Michel - Merklin di Lione nel 1896: il positivo del XVII secolo fu rimosso.
Nel 1974 il costruttore di organi Alfred Kern di Strasburgo fu incaricato del restauro dell'organo di Michel Merklin, che aveva raggiunto uno stato di rovina abbastanza avanzato. Il progetto del nuovo organo tiene conto di tutti gli apporti dei secoli precedenti e riporta il buffet alla sua estetica primitiva ricostituendo il positivo precedentemente distrutto. La perfetta armonizzazione consente agli organisti di suonare una letteratura molto varia.
L'organo
Il grande organo della cattedrale conta attualmente 51 registri, tra cui una tromba, quattro tastiere manuali e una pedaliera a 30 note, inaugurato nel 1983.
La custodia dello strumento è stata classificata come “monumento storico” nel 1968.
Le campane
La cattedrale di Nîmes ha nove campane. Otto di esse sono ubicate nel campanile, la nona, fuori servizio, è ubicata in un campanile sopra il coro.
