בשיאו היו בארמון 1,500 חדרים והוא היה המבנה הגדול בעולם. הארמון היה בלונדון, במיקום 51°30′16″ צפון, 0°7′32″ מערב, בשטח שבין הרחובות דאונינג, שדרות נורת'מברלנד, דרך משמר הסוסים, ונהר התמזה - על פני שטח כולל של 93,000 מ"ר.
כיום, בשטחים בהם עמד הארמון, נמצאים מבני ממשלת בריטניה, ושם הארמון מהווה כינוי לממשלה הבריטית.
היסטוריה
במהלך המאה ה-13 הפך ארמון וסטמינסטר למרכז השלטון באנגליה. ארמון זה שימש בית המגורים העיקרי של משפחת המלוכה מאז שנת 1049. האדמות הסמוכות לארמון וסטמינסטר הפכו פופולריות (בשל הקרבה לארמון המלך) ונרכשו על ידי וולטר דה גריי, הארכיבישוף מיורק אשר בנה במקום ארמון בשנת 1240 וקרא לו "ארמון יורק" (York Place). הארמון הורחב מספר פעמים, והמבנה הפך למבנה הגדול בבריטניה (שני לו היה ארמון למבת, ורק אחרי שני ארמונות אלה היו מבני בית המלוכה).
לאחר ביטול המנזרים בתקופת הנרי השמיני השתלט המלך על ארמון יורק (בשנת 1530) במטרה להפכו לארמון המלכותי העיקרי במקום ארמון וסטמינסטר.
בשנת 1622 הורה המלך ג'יימס הראשון על הוספת בית סעודות חדש לארמון. המבנה תוכנן על ידי איניגו ג'ונס במקום בו עמדו חדרי הסעודות מתקופת המלכה אליזבת הראשונה. עם סיום הקמת המבנה, בשנת 1634, עוטרה תקרת אולם הסעודות, בהוראת המלך צ'ארלס הראשון בציורים מעשי ידי פטר פאול רובנס. צ'ארלס הראשון הוצא להורג בחזית הארמון בשנת 1649. בשנה זו הארמון היה המבנה הגדול ביותר באנגליה - היו בו 1,500 חדרים. מבני הארמון נבנו בסגנונות שונים ועל ידי אדריכלים שונים ולמעשה היה הארמון עיר קטנה.
המלך צ'ארלס השני ביצע סדרה של עבודות שיפוץ בארמון, ואף נפטר בו. המלך ג'יימס השני הורה על שיפוץ הארמון וביקש את כריסטופר רן לתכנן את המבנים החדשים. רן תכנן קפלה חדשה עבור הארמון (שהושלמה בשנת 1687) וכן מגורים חדשים עבור המלכה (שהושלמו בשנת 1689).
בשנת 1691 הארמון היה המבנה הגדול והמורכב באירופה, אולם שרפה שפרצה ב-4 בינואר1698 התפשטה והרסה את מרבית מבני הארמון. בשל גודלו, העלות הכספית של שיקום המבנים הייתה כה רבה, שהוחלט שלא לשקם את הארמון והוא נותר בהריסותיו, למעט מספר מבני ממשלה ששוקמו.
תוכניתו של איניגו ג'ונס לשיקום הארמון. התוכנית לא הוצאה אל הפועל.
תוכניתו של כריסטופר רן משנת 1698 לשיקום הארמון. התוכנית לא הוצאה אל הפועל.
במהלך המאה ה-18 מרבית שטחי הארמון הוחכרו לצורך בניית מבני מגורים.
השריד היחיד של הארמון שנותר עד ימינו הוא בית הסעודות. במקום בו עמדו מבני השלטון של הארמון נבנה החל משנת 1938 מבני ממשלת בריטניה.