Nel Medioevo, il vescovo di Parigi possedeva una tenuta al di fuori del suo territorio, chiamata Villa Externa. Il toponimo si tramutò nei secoli da Estern a Ternes, dando nome all'attuale quartiere di Parigi.
Pierre Habert, poeta e valletto di camera di Enrico III, acquistò questa dimora per farne un castello. È proprio nei dintorni di questo castello che si è sviluppato il villaggio di Ternes, che, durante la rivoluzione, fu accorpato nel comune di Neuilly. Le prime grandi rivisitazioni compiute sull'edificio iniziale sono dovute a Mirey de Pomponne, un finanziere, funzionario del Comune di Parigi.
Nel 1860, quando Ternes raggiunse i 16.000 abitanti, fu aggregata al limitrofo comune di Parigi.
