Byggð er nokkur meðfram ströndum nessins og nokkrir þéttbýliskjarnar á norðurströnd þess, þeir eru Stykkishólmur, Grundarfjörður, Ólafsvík, Rif og Hellissandur, talið frá austri til vesturs, en allt eru þetta þorp og bæir sem byggja afkomu sína að mestu á sjávarútvegi. Að sunnanverðu eru tveir smábæir, Arnarstapi og Hellnar. Vestan á nesinu var á árum áður útróðrarstöð í Dritvík og svo þorpið Beruvík, sem hefur verið í eyði í marga áratugi.