Als 1873 die Residenz des Kaisers auf dem Gelände der Burg Edo durch einen Brand zerstört wurde, wurde auf dem Gelände der ehemaligen Residenz der Kishū-Tokugawa eine behelfsmäßige Residenz errichtet. Nachdem der Neubau des Kaiserpalastes endlich 1889 bezugsfähig war, wurde dieses Gebäude als Tōgū gosho Sitz des Kronprinzen. Auch hier wurde ab 1899 in Anlehnung an den französischen Klassizismus ein Neubau errichtet, der nach zehn Jahren Bauzeit 1909 fertig wurde. Architekt war Katayama Tōkuma (1854–1917), einer der „Drei Großen“[Anm 2] seiner Zeit. Mit dem Bau des Palastes beauftragt, reiste er 1897 für mehr als ein Jahr durch Europa, um die dortige Architektur zu studieren.
Das dreistöckige Gebäude wurde aus Stein ausgeführt, aber im Hinblick auf Erdbeben durch Eisenträger stark verstärkt. Weiter wurde die modernste Art von Heizung eingebaut. Für die Inneneinrichtung war Kuroda Seiki, Professor an der Kunsthochschule, zuständig. Für die Ausstattung mit Ölgemälden wurden die Maler im Westlichen Stil (Yōga) Asai Chū und Okada Saburōsuke, ebenfalls Professoren, eingesetzt.
Nach dem Kriege wurde das Gebäude zeitweilig von der neu gegründeten Parlamentsbibliothek genutzt. Nach einer Renovierung, die auch bildliche Ausgestaltung, unter anderem durch Koiso Ryōhei, umfasste, dient der Palast seit 1974 der Unterbringung hoher Gäste der Regierung und heißt entsprechend Geihinkan (迎賓館).[Anm 3] 2009 wurde der Palast in die Liste der Nationalschätze Japans aufgenommen.