La localité doit son nom à sa localisation entre les ports (en anglais : harbors) de Meredith et Moultonborough ainsi qu'à la famille Senter, propriétaire de nombreuses terres alentour. Center Harbor devient une municipalité indépendante de New Hampton en 1797[2].