Fu conosciuto con il titolo di cortesia di duca di Guiche fino al 1925, quando succedette a suo padre come duca di Gramont. Era il figlio maggiore di Antoine Alfred Agénor de Gramont, XI duca di Gramont e Marguerite de Rothschild.
Un raro filmato mostra Proust (col cappello a bombetta e cappotto grigio) al matrimonio di Gramont nel 1904. Il regalo di nozze di Proust a Gramont era un revolver in una custodia di pelle con iscrizioni di versi tratti dai poemi d'infanzia della sposa.
