La municipalité s'étend sur 5,40 milles carrés (13,99 km2), dont 0,25 mille carré (0,65 km2) d'étendues d'eau[1]. Elle accueille notamment le parc d'État du lac Cove.
La localité est probablement fondée au XVIIIe siècle. Elle porte d'abord le nom de Walnut Cove puis de Wheeler's Station. Elle est renommée Caryville en 1866, en l'honneur de William Carey, un homme politique local[2].
