De oudste vermelding van Ahneby dateert uit 1196, toen de plaats werd genoemd in een oorkonde van de Deense koning Knoet VI. Ahneby werd toen als Anabu geschreven, hetgeen zoveel betekent als 'dorp van Ani'. Gedurende enkele eeuwen was het dorp in eigendom bij verschillende kloosters, totdat in 1541 de Reformatie een einde aan de kloosters maakte. Het dorp viel daarna onder het hertogdom Sleeswijk, maar werd verpand aan adellijke families. Na de door Denemarken in 1864 verloren Tweede Duits-Deense Oorlog kwam Ahneby onder Pruisisch bestuur. In 1868 werd Anheby een zelfstandige gemeente.
