У дорослому футболі дебютував 1960 року виступами за команду клубу «Воєводина», в якій провів шість сезонів, взявши участь у 53 матчах чемпіонату. За цей час виборов титул чемпіона Югославії.
У сезоні 1966/67 грав за «Црвену Звезду», а 1968 року виїхав за кордон, ставши гравцем нідерландського «Утрехта», в якому протягом сезону провів лише 5 матчів.
Завершував кар'єру в Туреччині, протягом 1971–1973 років за «Аданаспор», а від 1973 до 1975 року — за «Бешикташ».
Розпочав тренерську кар'єру невдовзі по завершенні кар'єри гравця, 1977 року, очоливши тренерський штаб клубу «Аданаспор».
1980 року став головним тренером команди «Бешикташ», тренував стамбульську команду три роки. В сезоні 1981/82 привів цю команду до перемоги у чемпіонаті Туреччини.
Згодом протягом 1985 року очолював тренерський штаб клубу «Бурсаспор», а протягом 1989–1990 років тренував «Аданаспор».
Останнім місцем тренерської роботи був клуб «Бурсаспор», головним тренером команди якого Джордже Милич був протягом 1991 року.