Клуб был основан в 1928 года. Первое время клуб назывался «Санджак», а позже «Дежева». Позже — «ФК Дежева» и «ФК Руси» и только после этого клуб был назван нынешним именем «ФК Новый Пазар». В период существования Югославии, Нови Пазар выступал во второй лиге.
Клуб в сезоне 2010/11 занял 3-е место в Первой лиге Сербии, но после отказа клуба «БАСК», который стал чемпионом Первой лиги, играть в Суперлиге, было принято решение, что место в высшей лиге займёт Нови-Пазар. Два сезона подряд клуб занимал 14 место в суперлиге и играл в плей-офф за вылет. Оба раза удачно.
