작은곰자리는 꼬리는 길지만, 곰을 닮았다. 그 결과, 작은곰자리와 큰곰자리는 칼리스토와 아르카스의 전설과 관련지어졌다. 긴 꼬리는 곰을 북극에 고정하기 위해 늘려졌고, 북극 주위로 감겨졌다고 한다.
목동자리가 아르카스(Arcas)를 의미하는 다른 이야기에서는, 작은곰자리는 '개'로 여겨진다. 이러한 옛 전설이 긴 꼬리와 북극성의 또 하나의 명칭인 'Cynosure'의 어원을 알기 쉽게 설명해 준다. ('Cynosura'는 '개의 꼬리'를 의미한다.)
더 이른 시기, 작은곰자리는 단지 일곱 개의 가까운 별들, 일곱 자매로 인식되었다.
작은곰자리의 일곱 별은 아틀라스의 딸인 헤스페리데스(Hesperides)로 여겨지기도 했다.
작은곰은 원래, 칼리스토와 제우스 사이에 태어난 아르카스이다. 아르카스는 어려서 엄마를 잃고 한 농부가 키웠다고 한다. 어머니의 사냥솜씨를 이어받아 훌륭한 사냥꾼으로 자란다. 어느날 숲으로 사냥 나갔다가 큰곰과 부닥친다. 어머니 칼리스토가 변한 이 곰은 자식을 만난 기쁨을 참지 못하고 아들에게 달려가지만 아들에겐 여전히 무서운 곰일 뿐이었다. 아르카스가 달려드는 곰을 죽이려는 순간, 제우스는 참다못해 아르카스마저 작은곰으로 변하게 하여 하늘에 둘을 올려놓는다.[1]
