הארמון נרכש על ידי הכנסייה בשנת 1200 לערך. בעת רכישתו היה אזור הארמון שטח ביצתי שנקרא בלקפריירס (אנ'). מקור השם למבת במילה "הית'" - "hithe", מקום נחיתה לסירות. באותה עת התנהלה התנועה לאורך התמזה בסירות, ועל כן היה המקום אידיאלי לבניית מקום מגורים.
מגורי הארכיבישוף נמצאים כיום בחלק של הארמון שנבנה בשנת 1834 לפי תכנונו של אדוארד בלור, שבנה מאוחר יותר את ארמון בקינגהאם. חלק זה של הארמון נבנה בסגנון נאו-גותי.