Am 6. Mai 1924 wurde der Verein als FK Sartid von der Vereinigung der serbischen Aktionäre der Stahlindustrie (SARTID) gegründet.
1949 änderte der Klub seinen Namen in FK Smederevo. Im Verlauf der folgenden Jahrzehnte änderte der Klub seinen Namen öfter. 1992 wurde der Klub wieder in seinen ursprünglichen Namen FK Sartid umbenannt.
Der größte Erfolg des Vereins war der Gewinn des Landespokals 2003 gegen Roter Stern Belgrad. Das Siegtor schoss Marko Pantelić. Das Jahr darauf änderte der Klub den Namen zum heutigen FK Smederevo.