Freer Gallery har mer än 25.000 verk i sina konstsamlingar från Östasien, Sydöstasien, Sydasien, Främre Asien och Egypten. Det har också en samling konst från USA.
Freer Gallery grundades av Charles Lang Freer (1854–1919), en industriman från Detroit vars företag tillverkade järnvägsvagnar. Freer donerade sin konstsamling till den amerikanska staten tillsammans med medel för att uppföra en museibyggnad. Denna ritades i italiensk renässansstil i granit och marmor av arkitekten Charles A. Platt.
Museet invigdes 1923 och var då det första av Smithsonian Institutions konstmuseer.
Charles Lang Freer började samla amerikansk konst på 1880-talet. Inspirerad av ett möte med James McNeill Whistler, som beundrade japanska träblockstryck och kinesiskt porslin, utvidgade Freer sitt samlande med asiatisk konst. Samtidigt fortsatte inköpen av amerikansk konst och museet har bland annat en samling av mer än 1.300 av Whistler.