Harald Nielsen debutà al club de la seva ciutat natal, el Frederikshavn fI, el 1959 a la segona divisió danesa. En aquesta temporada fou màxim golejador i assolí l'ascens a primera divisió. La següent temporada a la màxima categoria tornà a ser màxim golejador i el club acabà en la cinquena posició. El 1961, marxà a Itàlia, on esdevingué professional al Bologna FC.
A Bolonya fou campió de lliga el 1963-64 i capocannoniere el 1963 i 1964. Passà a integrar la plantilla de l'Internazionale FC el 1967, en un traspàs que fou el més car de la història del moment. Més tard jugà a la SSC Napoli i la UC Sampdoria. Acabà la seva carrera el 1970.
Harald Nielsen disputà el seu primer partit amb la selecció de Dinamarca el 13 de setembre de 1959 davant Noruega a Oslo, essent el jugador més jove en debutar amb la selecció amb només 17 anys. Marcà un gol en la victòria per 4-2. L'estiu de 1960 representà la seva selecció als Jocs Olímpics de 1960 a Roma. Dinamarca acabà segona i Nielsen fou el màxim golejador del torneig. Quan esdevingué professional, li fou prohibit jugar amb la selecció, ja que l'Associació Danesa no permeté el professionalisme a la selecció fins al 1971. Per aquest motiu, i amb només 19 anys no tornà a jugar amb la selecció. En total disputà 14 partits amb la selecció i marcà 15 gols entre 1959 i 1960.