Va començar la seua carrera al FK Proleter de Zrenjanin, on ja va deixar l'empremta de la seua qualitat, i prompte va ser fitxat per un dels grans de la lliga iugolsva, l'Estrella Roja de Belgrad. A l'equip capitalí Kovacevic va seguir la seua ratxa golejadora, marcant 37 dianes en 47 partits. Al desembre de 1995 arribaria a la Premier League de la mà del Sheffield Wednesday FC.
L'aventura anglesa no va resultar massa reeixida, i el serbi només va marcar quatre gols en la segona meitat de la temporada 95/96, per la qual cosa, a final de campanya, va retornar a Belgrad. Però, de seguida, va trobar una segona oportunitat en una lliga potent, en aquest cas l'espanyola. Seria fitxat per la Reial Societat, que necessitava un substitut a la davantera després de la marxa de Karpin.
A Sant Sebastià, Kovacevic va recuperar el seu bon nivell de joc i va ser la referència atacant dels donostiarres en els tres anys que hi va militar. El 1999, deixava la Reial i s'hi incorporava a la Juventus FC italiana. Amb l'equip torinés, el serbi va continuar la seua estela golejadora tant a la competició domèstica com a Europa, però, el seu rendiment no era de l'agrat dels directius, que el van passar primer a la Lazio i després de nou a la Reial Societat.
En la seua segona etapa al País Basc, va militar fins a sis temporades més, marcant 51 gols a la màxima categoria. El 2007, deixa l'equip donostiarra i fitxa per l'Olympiakos FC grec, on seria un dels atacants titulars del club d'El Pireu. El 2009 li va ser diagnosticada una malaltia arterial. A hores d'ara, a pesar del consell mèdic, Kovacevic no va anunciar la seua retirada. Finalment al mes de maig del 2009 es va retirar definitivament.
Selecció
Kovacevic va ser internacional en 59 ocasions amb la selecció iugoslava de futbol, i hi va marcar 10 gols. Va formar part del combinat del seu país que va participar en el Mundial de 1998 i l'Eurocopa del 2000.
.svg){kind=small}
