Byen blev grundlagt i 1100-tallet. Byens navn henviser til den danske forsvarsborg Egernborg (Ykærnæburgh), som var muligvis en del af DanevirkesØstervold. Formålet med borgens oprettelse har formentlig været at hindre fjender at komme længere mod nord i Jylland. Borgens oprindelige plads er desværre ukendt. Den lå måske på banken, hvor Borreby kirke nu findes eller ved gaden Burgwall (borgvold).
Byens senromanske kampestenskirke fra 1185 er den ældste endnu eksisterende bygning i byen. Kirketårnet er bygget til i 1895.
I 1833 opførtes en af områdets første badeanstalter i landsbyen. Den gamle klapbro mellem Egernførde og Borreby er fra 1872. Den 1. april 1934 blev den hidtil selvstændige by med 2.234 indbyggere indlemmet i Egernførde kommune.
I 2002 blev en promenade ved Fuglsang ud mod fjorden nyanlagt.