Priboj se nalazi na reci Lim, iznad kojeg se izdižu visoke planine. Sam grad Priboj se nalazi na 395 metara nadmorske visine uz obe strane reke Lim.
Jugozapadno od Priboja uz granicu sa BiH nalazi se Bić 1386 m , jugoistočno od Priboja nalazi se planina Pobijenik 1423 m, severno od Priboja nalazi se pribojski Crni vrh 1186 m , a severoistočno Banjsko brdo 1282 m.
Ne zna se tačno kako je i kada Priboj nastao, ali se smatra da su ga podigli srednjovekovni srpski feudalci kao četvorougaoni zidani grad Jagat na padinama planine Bić šireći svoju vlast i državu prema Bosni.
Smatra se da Priboj postoji još mnogo pre 1418. godine kada se pominje prvi put u istoriji i kada ga je osvojio Isak-beg.Kasnije se pominje u Povelji kralja Fridriha III iz 1448. godine, zatim 1463. godine u jednom putopisu pominje se Priboj u nahiji Dobrun, a drugi put 1485. kao sedište istoimene nahije. Potpunije podatke o Priboju, kao gradu, dali su Benedikt Kuripešić, slovenački putopisac koji je prolazio kroz Priboj 1530. godine, i Evlija Čelebija koji je boravio u Priboju 1662. godine.
Opština Priboj po poslednjem popisu stanovništva broji oko 31 hiljadu žitelja, od čega na području Grada oko 20 hiljada i 11 hiljada u seoskim naseljima.
Građane Opštine Priboj karakterišu izuzetno dobri susedski odnosi među Srbima i Bošnjacima koji su nosilac budućeg napretka svih tradicionalno, na teritoriji Opštine bitiše i nekoliko stotina Roma koji predstavljaju dodatno bogatstvo lokalnom suživotu.
Iako geografski gledano Opština predstavlja "slepo crevo" regiona pa čak i Republike, uz malo više domaće samodiscipline može se očekivati vanprosečan privredno-kulturni uspon.U okolini Grada nalaze se termalni izvori sa najprimerenijom temperaturom vode i telesne temperature čoveka (oko 37 C). Na žalost, od stare tradicije turskih kupatila nije ostalo toliko toga, a na novim bazenima se tek po nešto radi. Kulturno nasleđe koje sa sobom nosi i jednu među prvim školama ovog kraja, moglo bi, uz vrlo povoljne prirodne uslove, možda poslužiti kao nastavak tradicije i unapređenje, te nije strano razmišljanje o izgradnji zdravog i "pametnog" centra u republici.
Sa jedne strane je izvanredan prirodni potencijal za turizam i ugostiteljstvo, dok na drugoj potencijal za studentski centar sa više hiljada mladih koji bi imali nesmetan mir koji pruža manje mesto, izvanrednog kvaliteta voda, vazduha i hrane..
Iako nekoć gigant u auto industriji, vreme je da se grad vrati prirodnom pravcu svog razvoja. Turizam, lečiliste, obrazovni centar-tri glavna pravca budućeg razvoja.
Demografija
U naselju Priboj živi 15093 punoletna stanovnika, a prosečna starost stanovništva iznosi 36,4 godina (36,0 kod muškaraca i 36,7 kod žena). U naselju ima 6199 domaćinstava, a prosečan broj članova po domaćinstvu je 3,16.
Ovo naselje je uglavnom naseljeno Srbima (prema popisu iz 2002. godine).
