A Zsivány-sziklák hegycsuszamlás által jött létre, mely árkokat szabdalt a területen. Ennek köszönhetően több barlang is létrejött, mint például a Nagy-Hideg-lyuk.
IV. Béla búvóhelye volt a mondák szerint, a kincseit is itt rejtette el a sziklák között, ezt később zsiványok keresték nem sok sikerrel és állítólag innen kapta a nevét ez a hely.
