Postaven byl roku 1530Jindřichem VIII., na místě původní nemocnice zasvěcené svatému Jakubovi (od jehož jména je odvozen název paláce a okolního parku). Budova byla postavena z červených cihel v tudorovském stylu.
Panovníci Hannoverské dynastie původně využívali palác jako své sídlo až do doby, kdy byl roku 1809 zničen požárem, po kterém se zachovala z původní stavby pouze bránaJindřicha VIII. V době opravy St. James's Palace byl využíván jako královská rezidence Buckingham House (později rozšířený na Buckinghamský palác). Formální potvrzení ustanovení Buckinghamského paláce jako hlavního královského sídla v Londýně bylo provedeno za vlády královny Viktorie.
Královnina kaple, navržená Inigo Jonesem, sousedí s palácem a na rozdíl od samostatného paláce je ve vymezeném období přístupná pro veřejnost.
St James's Palace, from Pyne's Royal Residences, 1819
Zajímavosti
St. James's Palace je také jedním ze tří míst v Londýně, tj. spolu s Buckinghamským palácem a Horse Guard, kde je možno vidět příslušníky jízdní stráže.
