Orsasandsten er blevet anvendt til slibning og hvæsning siden vikingetiden og sikkert også tidligere. Regelmæssig udvinding er forekommet i hvert tilfælde siden 1500-tallet. I henhold til bekendtgørelsen om minedrift i Orsa socken fra 1730, foregik udvinding i hver by med eget minehold og egen mine seks uger før fasten og seks uger efter høsten. Mineholdene havde egne minehytter med stald og smedje. Hakning og anden forarbejdning skete derefter indendørs i vinterperioden på de omkringliggende gårde.
Ved århundredeskiftet 1800 til 1900 forekom industriel udvinding af sten til byggeri, og orsasandstenen anvendtes blandt andet til Stockholm Centralposthus og til rådhuset i Orsa. På den tid arbejdede 400 til 500 personer om sommeren med sandstensudvinding, og der fremstilledes omkring 100.000 hvæssesten om året.
