Uma grande vila galo-romana ainda ocupava o local do palácio nos séculos VI e VII e mais tarde se converteu em um palácio carolíngio. O primeiro documento do palácio data do ano 1131 e é a planta do edifício, que lembra a letra «Τ» (letra Tau, do alfabeto grego). A maior parte do primeiro edifício desapareceu: a parte mais antiga onde se encontra a capela. O edifício foi amplamente reformado em estilo gótico entre 1498 e 1509, e modificado até sua atual aparência barroca entre 1671 e 1710 por Jules Hardouin-Mansart e Robert de Cotte. Foi destruído por um incêndio em 19 de setembro de 1914 e não foi mais reparado até depois da Segunda Guerra Mundial.
Era a residência onde permaneciam os reis em suas coroações. O rei se vestia para a coroação no palácio, antes de ir até a catedral; depois, celebrava-se um banquete no palácio. O primeiro banquete de coroação documentado no palácio foi o de 990 e o último, em 1825. Na salle de Tau («sala de Tau»), onde celebrava-se o banquete real, encontra-se uma enorme chaminé, do século XV.
Desde 1972, o Palácio de Tau é um museu nacional chamado Musée de l'Œuvre que mostra as esculturas e tapeçarias da catedral e, em duas câmaras, o Tesouro; numerosos relicários e objetos utilizados nas consagrações dos reis da França. Entre estes relicários, podem ser citados o talismã de Carlos Magno, presente do califa de BagdáHarune Arraxide. Esta joia, em ouro, esmeralda, pérolas e safiras contendo um espinho da verdadeira cruz de Jesus Cristo, foi encontrada no pescoço do imperador, ao ser exumado em 1166.