Першапачаткова, да 1529 года, служыў сталічнай рэзідэнцыяй англійскіх каралёў. Пасля пажару 16 кастрычніка1834 г. палац пабудаваны нанава па неагатычным праекце Ч. Бары і А. У. П’юджына. Ад сярэднявечнага палаца ацалелі Вэстмінстэрская зала прыёмаў (1097) і вежа каштоўнасцяў (пабудаваная для захоўвання казны Эдуарда III).
У палацы 1200 памяшканняў, 100 лесвіц і 5 кіламетраў калідораў. З палацавых вежаў найбольш знакамітая гадзіннікавая вежа «Біг-Бен». Вежа Вікторыі вышэй на два метры, яе вышыня — 98,45 м (323 фута). У 1987 годзе палац і бліжэйшых царква святой Маргарыты (1486—1523) былі ўдастоены гонару быць уключанымі ў Спіс сусветнай спадчыны.