La première section du Queens' Building, alors connue sous le nom de People's Palace, a été inaugurée par la reine Victoria le . Une grande partie du financement initial pour la construction du bâtiment a été fournie par John B. Beaumont, qui, après sa mort en 1840, avait laissé une somme d'argent à utiliser pour promouvoir l'éducation et le divertissement des personnes à proximité de Beaumont Square. Il comprenait une grande salle de concert appelée Queen's Hall, une bibliothèque, maintenant connue sous le nom d'Octogone, un gymnase, une piscine, un jardin et un court de tennis [1].
Une grande partie du bâtiment, dont le Queen's Hall, a été complètement détruite par un incendie le . Il a été reconstruit dans les années suivantes, avec un accent beaucoup plus grand sur l'éducation, y compris les amphithéâtres et les laboratoires, et a été incorporé au Queen Mary College le .
Le Palais du Peuple lui-même a été reconstruit en tant que nouveau bâtiment adjacent à l'actuel Queens' Building, et a continué comme théâtre, cinéma et music-hall pendant un certain nombre d'années, jusqu'à ce que les revenus diminuent et qu'il soit acheté par le collège en 1954 [2].