Navnet kommer ifølge Rygh av Dvergasteinn. Det finnes nemlig en stor sten på gården, og i folketroen hadde dverger bolig i stener. Etter tradisjon på stedet skal stenen være kastet av trollet («dvergen») i Brandbukampen da han ble forstyrret av kirkeklokkene i Tingelstad gamle kirke. Han greide ikke kaste langt nok, og stenen ble liggende der gården ble reist. Stenen ligger fortsatt mellom hovedbygningen og kårbygningen på Dvergsten. Den er antageligvis brutt ut ved Mæna, som ligger omtrent fem kilometer lenger nord.