Salamon József gyermekkorában ismerkedett meg a labdarúgással (édesapja a DVTK labdarúgója volt), és már általános iskolás korában igazolt sportoló lett. Alig múlt el 17 éves, amikor már bemutatkozott az élvonalban. A DVTK olyan legendáival játszhatott együtt, mint Szigeti Oszkár, Werner Gyula, Kiss László, Tamás Gyula és mások. Remek fizikai adottságainál fogva a kezdetektől fogva a hátvédsorban játszott, végleges posztja a középhátvéd volt. Az NB I-ben 1966 áprilisában játszott először, hazai pályán, az MTK ellen. Összesen 386 (más forrás szerint 375) NB I-es mérkőzésen szerepelt a Diósgyőrben, 4 gólt szerzett. 1977-ben és 1980-ban csapatával elnyerte a Magyar Népköztársasági Kupát. A DVTK híres aranycsapatának sikerei idején háromszor bekerült a válogatottba (mindannyiszor csapatkapitány is volt), az olimpiai válogatottban ötször szerepelt. 1979-ben elnyerte az MLSZ által adományozott Az év magyar labdarúgója címet.
1980-ban megengedték neki, hogy külföldön játszhasson. Két évig a PAOK Szaloniki játékosa volt, ahol Lóránt Gyula volt az edzője (aki ez idő alatt hunyt el a kispadon). Görögországból visszatérve egy szezont még játszott a Diósgyőrben, majd 1983-ban visszavonult. Az MLSZ ellenőre.