Zespół budynków otoczonych Mill Hill, Boar Lane i Bishopgate Street stoi na miejscu średniowiecznego dworu. W 1069 wzniesiono tutaj ufortyfikowany, kamienny budynek wyposażony w półkolistą fosę zasilaną z tamy Bondmans, przy czym nadmiar wód był odprowadzany przez Mill Race, aby zasilić młyn King’s Mill zlokalizowany w pobliżu mostu Leeds Bridge, a także inne, dalsze młyny. Prawdopodobnie na początku XIII wieku obiekt ten został zburzony. Wybudowano w jego miejscu folwark z ogrodem. Do 1341 istniał tu zespół budynków gospodarczych z fosą i dziedzińcem, wraz z magazynem zbożowym. W 1560 miejsce to oznaczono jako „wzgórze Castyll”. Zachował się z tego czasu plan wraz z rysunkiem o konstrukcji szachulcowej[1].
Zespół tych budowli został mocno przebudowany w XVI wieku przez Richarda Wilsona (dyrektora ds. prawnych w Leeds Corporation). Powstał wówczas symetryczny dom na planie litery "U" i piętrowym gankiem. Jego potomek, również Richard Wilson, właściciel rozległych dóbr na zachód od Boar Lane i Coloured Cloth Hall, odbudował w 1765 te budowle wraz z ogrodami biegnącymi do rzeki. Wśród mieszkańców obiektu był m.in. Christopher Wilson (1715-1792), biskup Bristolu. W początkach XIX wieku okolica dworu stała się terenem przemysłowym, mocno zanieczyszczonym, nie postrzeganym jako okolica przyjazna do zamieszkania. Stare skrzydło zostało zakupione w 1815 przez Henry'ego Scarbrough, który przekształcił je w gospodę "The Kings Arms Inn". W 1823 urządzono tu hotel Scarbrough, w którym chętnie zatrzymywali się zwłaszcza muzycy. Nocował tu m.in. Ferenc Liszt podczas swego brytyjskiego tournée zorganizowanego przez Louisa Henry'ego Lavenu. W 1857 spał tu książę Walii, późniejszy król Edward VII, a w 1858 Charles Dickens. Hotel funkcjonował do około 1863, kiedy w pobliżu wybudowano wiadukt kolejowy i konkurencyjny hotel Queens. W latach 90. XIX wieku właściciel obiektu, Fred Wood, zmienił nazwę budynku na Public House. Odbywały się tu wieczory talentów i przesłuchania muzyczne[1].
Hotel Scarbrough został zburzony w latach 30. XX wieku. Zajazd (obecnie The Scarbrough Pub) został wówczas przebudowany. Na parterze znajduje się elewacja wyłożona płytkami fajansowymi. Wypukłe napisy umieszczone na kaflach w kolorze zielonym mają następującą treść: „IND, COOPE’S BURTON ALES”, „SCARBROUGH HOTEL” i „SALOON BAR”, a na parapecie na poziomie dachu: „SCARBROUGH HOTEL” i „IND, COOPE’S ALES”. Prace budowlane prowadzone w połowie XIX wieku odsłoniły fragmenty fosy pierwotnego dworu[1].