Selon le recensement de 2011[1], Fort Beaufort compte 25 668 habitants, majoritairement noirs (83,59 %) et de langue xhosa (76,89 %). Les coloureds et les blancs représentent respectivement 12,93 % et 2,63 % des habitants[1].
Les blancs sont toutefois majoritaires dans le quartier d'Appiesdry sp (51,88 % des 266 habitants) et les coloureds sont majoritaires dans le quartier de Newton (73,07 % des 4 277 habitants).
Fondé en 1837 dans une contrée où les fleuves Keiskamma(en) et Great Fish prennent leurs sources, le village de Fort Beaufort devint une municipalité en 1883. Elle servit de ville dortoir pour le personnel académique et les étudiants de l'université de Fort Hare, située dans la ville voisine de Alice.
Fort Beaufort est à l'origine une mission de la London Missionary Society, fondé à l'initiative du révérend Joseph Williams. En 1822, le Colonel Maurice Scott du régiment royal de Warwickshire fait de la mission une garnison de frontière entre la colonie du Cap et les territoires Xhosas. Fort Beaufort est alors baptisé en l'honneur du duc de Beaufort, le père de Lord Charles Henry Somerset, le premier gouverneur britannique de la colonie du Cap (1814-1826).
Après la 6e guerre de frontière contre les Xhosas (1834-1835), le gouverneur Benjamin d'Urban autorisa la construction d'un fort militaire, comprenant un hôpital, à l'emplacement des premiers baraquements. Une tour Martello fut construite en 1839, l'un des rares édifices de ce genre en Afrique.
En 1937, Nelson Mandela a rejoint l'école méthodiste d'Healdtown à Fort Beaufort pour y étudier pendant quelques années.
