Pall Mall war zeitweise auch das Zentrum der Londoner Kunstszene; 1814 befanden sich dort die Royal Academy, die National Gallery (London) und Christie’s Auktionshaus, doch keine dieser Einrichtungen blieb dort lange.[3]
Nahezu alle Grundstücke auf der südlichen Seite der Pall Mall gehören seit Jahrhunderten der Krone. St James’s Palace liegt an der südlichen Seite der Straße an ihrem westlichen Ende. Marlborough House, einst königliche Residenz, schließt östlich an den Palast an. Das Carlton House des Prinzregenten stand einst am östlichen Ende der Straße. Pall Mall war auch einst Ort des War Office, für das Pall Mall synonym stand (so wie Whitehall stellvertretend für das Verwaltungszentrum der britischen Regierung steht). Das War Office befand sich in einem Gebäudekomplex beim Cumberland House, welches Matthew Brettingham und Robert Adam entworfen hatten.
Es gab mindestens zwei weitere architektonisch bedeutende herzögliche Residenzen an dieser Straße, das Schomberg House und das Buckingham House, die Londoner Residenz der Herzöge von Buckingham und Chandos, die Sir John Soane für sie entworfen hatte (nicht zu verwechseln mit jenem Buckingham House, das zum Buckingham Palace wurde).