Образован в 1896 году. Начал играть в младшем дивизионе западной лиге Сессекса. В 1958 сменил название на современное. Полупрофессиональным клубом стал в 1962.
10 января 2011 года «Кроли Таун», победив (2:1) на своем поле команду «Дерби Каунти», впервые в своей истории вышел в четвертый раунд (1/16 финала) Кубка Англии. 29 января того же года победное шествие «Кроли Таун» продолжилось: на выезде с минимальным счетом была обыграна команда «Торки Юнайтед», а «Кроли Таун» вышел уже в пятый раунд (1/8 финала) Кубка Англии. Однако 19 февраля 2011 года в пятом раунде (1/8 финала) Кубка Англии «Кроли» в гостях встретился с «Манчестер Юнайтед» и уступил в упорной борьбе со счётом 1:0.