Si compone di quattro saloni al piano rialzato: la galleria del Consiglio, il Salone Giallo, il Salon Blu (dove vengono ricevuti gli ospiti di Stato) ed il Salone Rosso. L'ufficio del Primo ministro si trova al primo piano assieme alla Sala riunioni, alla Sala da pranzo, al Salotto ed agli appartamenti privati.
Venne fatto costruire da Christian-Louis de Montmorency-Luxembourg, principe di Tingry, che, nel 1722, ne commissionò la progettazione all'architetto Jean Courtonne, su un terreno che aveva acquistato nel 1719. Poiché i lavori di costruzione si rivelarono maggiori di quelli preventivati, il committente dovette vendere l'edificio in corso di costruzione a Jacques III de Goyon, signore di Matignon et de la Roche Goyon (l'attuale Fort La Latte), divenuto conte di Thorigny, dal 23 luglio 1723.
Al momento dell'acquisto, il nuovo proprietario tolse a Courtonne la direzione dei lavori mantenendolo comunque come progettista fino ai primi mesi del 1724. Quando Courtonne venne definitivamente estromesso da Antoine Mazin, le grandi opere e la decorazione dell'esterno erano state completate ed erano in corso le rifiniture interne. Mazin penserà a realizzare il portale.
Jacques III de Goyon de Matignon morì il 14 gennaio 1725 e suo figlio Jacques IV de Goyon (1689-1751) ereditò il palazzo e per mezzo di sua moglie Luisa Ippolita di Monaco, divenne principe di Monaco con il nome di Giacomo I Grimaldi. L'edificio passò quindi ai suoi discendenti. L'attuale principe di Monaco, Alberto II, porta, tra l'altro, anche il titolo di Signore di Matignon.
Successivamente appartenne alla danzatrice Anne Éléonore Francal e al suo amante, il ricco banchiere Quentin Crawford.
Sotto il Secondo Impero, l'hôtel venne acquisito da Raffaele De Ferrari, duca di Galliera, che dispose ampi lavori di ammodernamento. Quando venne votata la legge che disponeva l'esilio per i membri della Casa di Orléans, la duchessa di Galliera, molto legata all'ex famiglia reale, offrì il palazzo all'Imperatore d'Austria per farne la sede dell'ambasciata in Francia.
Durante la prima guerra mondiale, l'hôtel venne messo sotto sequestro come proprietà del nemico e, nel 1922, la Francia finì per comperarlo. Dopo aver pensato di farne un museo, si decise di farne la residenza del Primo ministro, che vi si trasferì nel 1935.