הארמון ניזוק בשריפה בשנת 1809. מן הארמון המקורי נותר רק בית השער המקורי הטיודורי. בשל השריפה ובזמן השיפוצים עבר המלך ג'ורג' השלישי לבית בקינגהאם שהפך מאוחר יותר לארמון בקינגהאם.
משפחת המלוכה נשארה לגור בארמון בקינגהאם, וארמון סנט ג'יימס משמש בעיקר לאירועים רשמיים כגון קבלות פנים.
בשנת 1837 הכריזה המלכה ויקטוריה רשמית על מגוריה בבקינגהאם, וסיימה את מעמדו של ארמון סנט ג'יימס כמקום המגורים הרשמי, אולם הוא עדיין משמש מרכז אדמיניסטרטיבי רשמי - שגרירים זרים לבריטניה מגישים את כתב ההאמנה שלהם לחצר סנט ג'יימס, על אף שבפועל נעשה הדבר בארמון בקינגהאם.