La forteresse de Prizren est construite sur une hauteur dominant la rivière Prizrenska Bistrica. La ville moderne s'est développée à partir de ce centre.
À l'époque de Stefan Nemanjić (1196–1223), Prizren était située en Serbie et la forteresse acquit de l'importance sous le roi Stefan Milutin (1282–1321) et sous les empereurs serbes Dušan (1331–1355) et Uroš (1355–1371). Dusan agrandit les fortifications et, à proximité, il fit construire le Monastère des Saints-Archanges à Prizren et la forteresse de Višegrad destinée à protéger le monastère. Tant que dura l'Empire serbe, Prizren fut une capitale impériale, ce qui lui valut le surnom de Constantinople serbe.
Pendant la chute de l'Empire serbe, de 1362 à 1372, Prizren fit partie des possessions de la dynastie des Mrnjavčević, Vukašin Mrnjavčević (1366–1371) et Marko Mrnjavčević (1371–1395), puis de celles des Balšić jusqu'en 1376. Elle se retrouva sans doute dans l'État de Vuk Branković (?-1398) mais perdit déjà de son importance commerciale. En 1433, on mentionne la forteresse comme un endroit désert.
Les Ottomans finirent par se rendre maîtres des lieux, en 1455 ou en 1459 selon les sources. Pendant les siècles de présence turque, la forteresse connut plusieurs extensions, en fonction du développement des armes à feu. Après la Première Guerre balkanique et le départ des Ottomans, en 1912, la forteresse fut abandonnée.
