W pobliżu miasta odkryto ślady bytowania człowieka z epoki brązu, jak i późniejsze z okresu rzymskiego. W pobliżu istniała rzymska osada Ad Drinum. W Średniowieczu środkowe Podrinje (na którego obszarze znajdował się Mali Zvornik) było głównym ośrodkiem górniczym Serbii. Na górze Orlovine nieopodal są pozostałości dużej średniowiecznej twierdzy, prawdopodobnie wzniesionej w pierwszej połowie XV w. Pod rządami osmańskimi znalazł się w prowincji bośniackiej. Był jedyną bośniacką aglomeracją na prawym brzegu Driny aż do 1878, kiedy wszedł w skład niepodległego Królestwa Serbii. Na przełomie XIX i XX w. w mieście było 115 domostw. Aglomeracja Mali Zvornik została oficjalnie utworzona w 1955.
