Jusufi ble olympisk mester i fotball under Sommer-OL 1960 i Roma. Han var med på det jugoslaviske laget som vant fotballturneringen foran Danmark og Ungarn. Jugoslavia vant to kamper og spilte en uavgjort i gruppespillet, de vant gruppen på bedre målforskjell enn Bulgaria og gikk videre til semifinale. Semifinalen mot Italia endte 1–1 etter ekstra omganger. Det var 0–0 etter ordinær spilletid, begge lagene scoret i den siste ekstra omgangen. Jugoslavia gikk videre til finalen via loddtrekning. De vant finalen over Danmark med 3-1. Jusufi spilte alle fem kampene i turneringen.
Jusufi spilte 55 landskamper for Jugoslavia i perioden 1959–1967.