Nielsen passà la major part de la seva carrera al Boldklubben Frem, del 1904 al 1921, amb excepció de la temporada 1910-1911, que la passà al club alemany Holstein Kiel.[2]
Fou el primer jugador de la història en marcar 10 gols en un partit de selecció. En total marcà 16[3] per la selecció de futbol de Dinamarca en els 20 partits que hi disputà. Guanyà dues medalles d'argent als Jocs Olímpics de 1908 i 1912.
Fou als Jocs de 1908 quan debutà amb la selecció[4] marcant un gol en el primer partit de la història de Dinamarca, contra França B, a qui derrotà per 9 a 0. El 22 d'octubre de 1908Dinamarca jugà contra França A a qui derrotà per 17-1. Sophus Nielsen marcà 10 gols, als minuts 3, 4, 6, 39, 46, 48, 52, 64, 66 i 76.[5] Dinamarca guanyà la medalla de plata en ser derrotat per Gran Bretanya per 0-2 a la final. Als Jocs de 1912, l'alemany Gottfried Fuchs igualà el rècord de Nielsen marcant 10 gols en el 16-0 contra Rússia. No fou batut fins al 2001, quan l'australià Archie Thompson marcà 13 gols en la victòria 31-0 d'Austràlia sobre Samoa Americana. En aquests jocs també guanyà la medalla d'argent, marcant dos gols en tres partits.
Després de retirar-se fou entrenador del Holstebro BK per un curt període el 1933. El 1940 fou entrenador interí de Dinamarca durant dos partits que acabaren amb empat davant Suècia l'octubre de 1940.