Den statliga institutionen Österreichische Galerie Belvedere (sedan 2007 enbart Belvedere) öppnades 1903 efter påtryckningar på kunglig och kejserlig ministernivå från mängder av dåtida konstnärer som till exempel Carl Moll. Den fick namnet Moderne Galerie och inrättades i Orangeriet i Nedre Belvedere. Wien hade runt sekelskiftet blivit ett centrum för modern bildkonst. Avgörande för detta var bildandet av konstnärsföreningen Vereinigung bildender Künstler - Secession år 1897. En av de väsentligaste talesmännen vid bildandet av denna Wiener Secession var målaren Gustav Klimt.
Secessionisterna runt Klimt bemödade sig om att göra samtida europeisk konst tillgänglig i Wien och skänkte därför i samband med öppnandet av Moderne Galerie en rad bilder och skulpturer till staten, däribland Vincent van Goghs "Landskap vid Auvers" från 1890.[3]
År 1909 döptes Moderne Galerie om till k.k. Österreichische Staatsgalerie[4] och museets samlingsområde utvidgades till alla perioder av österrikisk konst. Även om så var, förblev Staatsgalerie ändå förknippat med secessionisternas verk, vilket i Wien hade blivit synonymt med jugend.
Efter första världskrigets slut ställdes även utrymmen i Övre Belvedere till museets förfogande. Fram till 1914 hade dessa bebotts av kronprinsen ärkehertig Franz Ferdinand. Österreichische Galerie, som det nu (utom under nazitiden) kallades, hade i Nedre Belvedere ett barockmuseum, i Övre Belvedere ett 1800-talsmuseum och i Orangeriet ett modernt museum. Mängder av bilder förvärvades, däribland verk av Gustav Klimt och Egon Schiele.
Fram till år 2000 hade museet 33 av Klimts målningar i sin ägo. Därefter har tio av dessa restituerats som stöldkonst till sina rättmätiga ägare, dvs ättlingar till personer som fråntogs sin egendom under nazitiden. Fem av dessa målningar, bland annat Adele Bloch-Bauer I (1907), fick Österrike en förköpsrätt på, till ett pris av 300 miljoner dollar. Efter en debatt i Österrikes parlament 2006 beslöt regeringen att avstå från köp.
