أُنشأ المنزل في عام 1756 من قبل جون سبنسر (الذي أصبح فيما بعد أول إيرل من آل سبنسر)، حيث كان يحتاج إلى منزل مستقل كبير في لندن لتعزيز مكانته. كان المهندس المعماري الذي اختاره هو جون فاردي، الذي درس تحت إشراف ويليام كينت. فاردي هو المسؤول عن واجهات القصر التي نراها اليوم.
في عام 1758، حل جيمس "الأثيني" ستيوارت، الذي درس القيم الأركادية للعمارة اليونانية القديمة، محل فاردي كمهندس للمشروع. وكنتيجة مباشرة لذلك كان من المقرر أن يحتوي منزل سبنسر على تفاصيل يونانية أصيلة في الديكور الداخلي، وبالتالي أصبح أحد الأمثلة الأولى في لندن على الطراز الكلاسيكي الجديد، الذي كان يجتاح البلاد.
بصفته منزلًا لإيرلز وكونتيسات سبنسر المتعاقبين، أصبحت غرف المنزل بمثابة مسرح لمسابقة ملكة جمال المجتمع الراقي في لندن. احتل أفراد عائلة سبنسر القصر بشكل مستمر حتى عام 1895، عندما بدأ تأجير المنزل. عادت عائلة سبنسر لفترة وجيزة خلال الربع الأول من القرن العشرين، وبعد ذلك تأجر المنزل في أوقات مختلفة إما كنادٍ أو مكاتب. خلال الحرب الخاطفة في الحرب العالمية الثانية، جُرِّدَ المنزل من كنوزه الأصلية القليلة المتبقية، والأثاث المصنوع خصيصًا، والمدافئ.
في 25 ديسمبر 1986، حصلت شركة ريت كابيتال بارتنرز الشركة العائلية لجاكوب روتشيلد، بارون روتشيلد الرابع، على عقد إيجار لمدة 96 عامًا (مع خيار إضافي لمدة 24 عامًا) بإيجار سنوي قدره 85000 جنيه إسترليني.
في عملية الترميم، أعيدت الغرف الكبيرة (الأجنحة) والحديقة إلى مظهرها الأصلي. بلغت قيمة عقد إيجار سبنسر هاوس 35 مليون جنيه إسترليني في التقرير السنوي لعام 2017 الصادر عن ريت كابيتال بارتنرز (بالإنجليزية: RIT Capital Partners).
يعد سبنسر هاوس و لانكاستر هاوس و بريدج ووتر هاوس ودودلي هاوس وأبسلي هاوس، أحد أواخر المنازل الريفية الأرستقراطية العديدة التي كانت تزين وسط لندن ذات يوم.