1907년한·일 신협약(韓日新協約)으로 군대가 해산되고 참령(參領) 박승환(朴昇煥)이 순국하자 남상덕은 "장군이 나라를 위하여 돌아가셨으니 내 어찌 홀로 살기를 바라리오. 마땅히 적과 더불으 죽음을 걸고 결전하여 위로 나라의 원수를 갚고자 한다"고 군대에 말했다. 같이 싸움에 자원한 1천여 명의 부하 군사를 이끌고 나가 숭례문에서 일본군과 전투 중 전사하였다. 이 싸움에서 일본군 지휘관 가지와라(梶原)를 비롯한 3백여 명을 사살한 것으로 전해진다. 남상덕과 함께 전투 중에 전사한 병졸은 98명, 장교 7명이었다.
남상덕이 전사한 후 싸우던 군사들은 흩어졌으나 후에 의병이 되어 전국에서 항일투쟁을 계속했다.