Nord for Skovsende ligger det 1929 inddigede Holnæs Nor. Øst for Skovsende ligger Pugum Sø, Draget og Bogholm (Bockholm) med Bogholmvig. Området umiddelbart syd for Skovsende kaldtes for Skidehulvej, Skidenhulvej (Schiedenhohlweg) eller Ulnæs (Ullniß)[2]. Her oprettede Christian 4 1668 fire husmandssteder[3]. Navnet Skidehulvej henviser til beliggenheden ved en moradsig hulvej[4].
I 1772 blev der anlagt et større teglværk ved Skovsende[5]. I 1896 blev der oprettet et fyrtårn, som i 1964 blev erstattet af det nuværende Holnæs Fyr[6].
I anden halvdel af 1900-tallet blev der bygget flere parcelhuse samt to ved kysten beliggende højhuse.
Trivia
Den danske nazist Frits Clausens bedstefar stammede fra Skovsende[7].