Skrollsvika var känd för det gynnsamma fisket av hälleflundra i Andfjorden. Förutom hälleflundra gjordes i fiskeläget klippfisk och saltad fisk. I början på 1900-talet var verksamheten som störst, med omfattande export till bland annat Storbritannien. Mot slutet av 1920-talet blev fisket sämre, och efter upp- och nedgångar under hela 1900-talet avvecklades mottagningen av fisk och Gammelbutikken 1991/1992.
Midt-Troms Museum övertog ansvaret för anläggningen och inrättade Kveitmuseet. Det ligger i ett tvåvåningshus i panelklätt timmer, Brygga, på kajen. Den äldsta delen av huset uppfördes troligen på 1870-talet, och var från början ett magasin för handelsvaror som fisk, tran och skinn. Det användes senare också för saltning av fisk och – på loftet – förtorkning av tottfisk och hälleflundra. Det fanns också bostäder i byggnaden.