St James’s on muodostunut St Jamesin palatsin ympärille. Alkuperäinen palatsi rakennettiin Henrik VIII:lle 1500-luvulla. Whitehallin palatsin tuhouduttua vuonna 1698 St Jamesin palatsista tuli hallitsijan Lontoon-residenssi. Palatsi restauroitiin täysin 1800-luvun alussa alkuperäisen rakennuksen tuhouduttua tulipalossa punatiilestä rakennettua sisäänkäyntiä lukuun ottamatta. Kuninkaalliset muuttivat myöhemmin Buckinghamin palatsiin, ja St Jamesin palatsissa asuu ja työskentelee nykyään hovin työntekijöitä. Palatsin läheisyydessä sijaitsevat 1700- ja 1800-luvuilla rakennetut Lancaster House, Bridgewater House, Marlborough House ja Spencer House.[1]
St James’sin pohjoisosassa sijaitsee St Jamesin aukio, joka rakennettiin 1660-luvulla yläluokan asuinalueeksi. Aukiota ympäröivät muun muassa Chatham House (Ison-Britannian pääministerin entinen virka-asunto), London Library (vuonna 1841 avattu yksityinen kirjasto), useiden yksityiskerhojen tiloja sekä yritysten toimitiloja. Suurin osa rakennuksista on peräisin 1700- ja 1800-luvuilta.[1]
St Jamesin palatsista kaakkoon, the Mallin toisella puolella sijaitsee St Jamesin puisto (36 ha), joka on vanhin ja koristeellisin kuninkaallinen puisto Lontoon keskustassa. Paikalla sijainneelle suoalueelle rakennettiin Kaarle II:n valtakaudella (1660–85) taidokas muotopuutarha. Puiston itäpää muutettiin 1700-luvulla Horse Guards Paraden paraatikentäksi. Kentällä järjestetään vuosittain hallitsijan syntymäpäivän kunniaksi Trooping the Colour -tapahtuma, johon kuuluu höyhenin koristeltujen hevosten ohimarssi ja paraatimusiikkia.[1] 1800-luvun alussa John Nash uudisti puistoa romanttisemmaksi ja muokkasi sen läpi virranneesta ”kanavasta” luonnollisemman järven.[1][2] Järven yli on rakennettu pieni silta, jolta voi ihailla Whitehallin rakennuksia.[1]