Museet har sitt namn efter Augustus Pitt-Rivers, som donerade sina samlingar till museet 1884 på villkor att Oxfords universitet inrättade ett lektorat i antropologi. Byggnaden uppfördes 1885–1886 efter ritningar av Thomas Manly Deane, son till en av arkitekterna till det naturhistoriska museet som uppförts en generation tidigare.
Den viktorianska delen av samlingarna är fortfarande organiserade enligt den princip som Pitt Rivers föredrog, nämligen att föremålen grupperats typografiskt med avseende på användningsområde snarare än ursprungskultur, för att visa utveckling över tid. Bland de största föremålen i museets ägo är en totempåle, ursprungligen rest av Haidafolket på Graham Island i British Columbia.
