За даними перепису населення 2000 року^[5] в Стемпсі мешкала 2131 особа, 541 сім'я, налічувалося 830 домашніх господарств і 1003 житлових будинки. Середня густота населення становила близько 259,9 осіб на один квадратний кілометр. Расовий склад Стемпса за даними перепису розподілився таким чином: 44,30 % білих, 54,48 % — чорних або афроамериканців, 0,52 % — корінних американців, 0,09 % — азіатів, 0,05 % — вихідців з тихоокеанських островів, 0,56 % — представників змішаних рас. Іспаномовні склали 0,61 % від усіх жителів міста.

З 830 домашніх господарств в 30,7 % — виховували дітей віком до 18 років, 37,8 % представляли собою подружні пари, які спільно проживали, в 21,7 % сімей жінки проживали без чоловіків, 34,7 % не мали сімей. 31,7 % від загального числа сімей на момент перепису жили самостійно, при цьому 17,6 % склали самотні літні люди у віці 65 років та старше. Середній розмір домашнього господарства склав 2,46 особи, а середній розмір родини — 3,10 особа.

Населення міста за віковим діапазоном за даними перепису 2000 року розподілилося таким чином: 27,1 % — жителі молодше 18 років, 9,1 % — між 18 і 24 роками, 23,7 % — від 25 до 44 років, 20,6 % — від 45 до 64 років і 19,5 % — у віці 65 років та старше. Середній вік мешканця склав 37 років. На кожні 100 жінок в Стемпсі припадало 87,6 чоловіків, у віці від 18 років та старше — 77,6 чоловіків також старше 18 років.

Середній дохід на одне домашнє господарство в місті склав 22 194 долара США, а середній дохід на одну сім'ю — 26 591 долар. При цьому чоловіки мали середній дохід в 25 667 доларів США на рік проти 17 125 доларів середньорічного доходу у жінок. Дохід на душу населення в місті склав 11 440 доларів на рік. 22,8 % від усього числа сімей в населеному пункті і 27,8 % від усієї чисельності населення перебувало на момент перепису населення за межею бідності, при цьому 31,0 % з них були молодші 18 років і 24,2 % — у віці 65 років та старше.