Penduduk Desa Silantom Julu umumnya adalah suku Batak. Berdasarkan marga mayoritas berasal dari etnis Batak Toba, namun secara budaya dan bahasa, terdapat percampuran antara adat Batak Toba dan Batak Angkola dikarenakan Desa Silantom Julu berada diperbatasan wilayah Toba dan Angkola.