Namnet kommer från skinnare eller garvare som bedrev sitt hantverk där på 1600-talet. Att det har bott skinnare där framgår av en bouppteckning från 1658, som talar om att Jöran Marckusson-Skinnare var skinnare och godsägare vid Skinnarewicks-gatun (nuvarande Ludvigsbergsgatan). Skinnarnas yrkesutövning var illaluktande och krävde mycket vatten, och därför höll de till vid Riddarfjärdens strand. Delen nedanför nuvarande Münchenbryggeriet hette just Skinnarviken och nämns redan 1646, “nerdher weedh Siöstrandhen Östan om Skjinnare wijken”. Namnet "Skinnarviksberget" är belagt sedan 1636, men namnformen “Skinnarviksbergen” förekommer också.
Berget är mycket populärt bland stockholmare som festplats. På sommaren är denna plats idealisk för en picknick tack vare utsikten över bland annat Riddarfjärden, Norr Mälarstrand, Gamla stan, Stockholms stadshus och många kyrkor, däribland Högalidskyrkan. På högsta punkten finns även en radiomast. På berget gäller alkoholförbud nattetid mellan 00 och 07, förbudet gäller i hela Skinnarviksparken.