У 1831—1870 роках віденське Товариство любителів музики, засноване в 1812 році, використовувало невеликий зал на 700 місць. Щоб збільшити число слухачів на концертах, імператор Франц Йосиф у 1863 році подарував ділянку землі для будівництва більшого будинку, у якому мав бути великий концертний зал для виступів симфонічного оркестру та зал менших розмірів для концертів камерної музики.
Для будівництва найняли данського архітектора Теофіла Гансена (1813—1891). На відкритті великого — «Золотого залу», яке відбулося 6 січня 1870 року, симфонічним оркестром диригував Карл Гайслер (1823—1878). Виняткові акустичні характеристики залу були належно оцінені та забезпечили йому міжнародне визнання.
Над сценою Золотого концертного залу розміщений орган, побудований знаменитим майстром Фрідріхом Лядеґастом[de]. У 1872 році з першим концертом на новому інструменті виступив австрійський органіст Антон Брукнер. Орган, який можна побачити в залі сьогодні, був встановлений у 1907 році австрійською фірмою Rieger Orgelbau. Цей орган, відновлений у 2011 році, був високо оцінений такими музикантами як Франц Шмідт і Марсель Дюпре.
Зал менших розмірів, призначений для концертів камерної музики, у 1937 році був перейменований щоб вшанувати пам'ять композитора Йоганнеса Брамса. Малий зал був відновлений у своєму первісному вигляді у 1993 році.
Починаючи з 1959 року в Золотому залі Віденської філармонії щорічно відбуваються Новорічні концерти Віденського філармонічного оркестру, які транслюються на весь світ.[4] Крім симфонічного оркестру у будівлі розміщується знамените Віденське чоловіче хорове товариство (Wiener Singverein), а також музичне видавництво Universal Editions.