Muzeum stojí ve zrekonstruované vile dřívějšího správce celého zámořského území, která byla postavená v roce 1916. Sloužilo správci jako sídlo pro jeho rodinu a vyřizoval zde věci, týkající se velrybářské osady Grytviken. Tu ale v roce 1964 zavřeli. Muzeum otevřeli o 28 let později – v roce 1992 jako specializované muzeum lovu velryb, dále expozice zahrnují celou historii o objevování a osídlování ostrova Jižní Georgie (a přilehlého okolí), také jsou zde obrazy a dokumenty o lodním průmyslu, námořních a přírodních vědách a také dokumenty z falklandské války.
Muzeum se stalo vyhledávaným turistickým místem, navštěvují jej cestující výletních lodí nebo jachty turistů, cestujících směrem do Antarktidy. Již několik let pracují jako kurátoři muzea Pauline a Tim Carrovi, žijící na palubě své jachty Curlew, kotvící v Grytvikenském přístavu.
Muzeu patří bronzová busta Duncana Carsea, kterou zhotovil britský sochař Jon Edgar. Carse byl vlivný v mapování Jižní Georgie a na ostrově je hora Mount Carce, pojmenovaná právě po něm.
