Вихованець тульського футболу. Виступав за юнацькі збірні СРСР, викликався на збори олімпійської збірної.
Більшу частину кар'єри провів у ленінградському «Зеніті», в складі якого став чемпіоном СРСР у 1984 році.
У 1985 році в кубковому матчі проти ЦСКА на стадіоні ім. Кірова отримав сильний струс мозку, через який 7 місяців мучився головними болями і збирався завершити виступи. Однак через деякий час знову вийшов на поле.
Після повернення в Росію за домовленістю з Анатолієм Бишовцем почав виконувати обов'язки тренера «Зеніту». Давидов думав, що ігрову кар'єру завершив. Однак на останньому зборі команди перед сезоном 1997 року (в Бельгії) захисники команди майже разом отримали травми, через які вони не могли вийти на перші матчі. Бишовець запропонував Давидову продовжити виступи, і Анатолій приступив до тренувань вже як гравець основного складу.
У підсумку в 1997 році провів в чемпіонаті 15 ігор, в більшості з яких грав разом з сином Дмитром. Після закінчення сезону остаточно завершив ігрову кар'єру.
Рекордсмен «Зеніту» за кількістю зіграних офіційних матчів (456)[4]. У тому числі:
Є найстаршим футболістом, що виступав у вищому дивізіоні чемпіонату Росії. Свій останній матч провів 3 вересня 1997 року у віці 43 років і 295 днів[6].
Тренерська кар'єра
Приступив до тренерської роботи в 1997 році. Тренував головну, другу і дублюючу команди «Зеніту». 24 вересня 1998 у зв'язку з хворобою Анатолія Бишовця був призначений виконуючим обов'язки головного тренера «Зеніту». 24 листопада став головним тренером.[7] У 1999 році привів команду до перемоги в Кубку Росії.
Анатолій Давидов під час роботи з «Томмю». 2013 рік.
У листопаді 2007 року був призначений головним тренером дублюючого складу «Зеніту». 10 серпня 2009 року в відставки Діка Адвоката був призначений виконуючим обов'язки головного тренера пітерців. 3 жовтня 2009 року був призначений головним тренером. Привів клуб, прийнятий ним в непростій турнірній ситуації, до бронзових медалей сезону-2009, яка дала право на участь у кваліфікації Ліги чемпіонів. Дубль же, який після його відходу в основну команду очолив Микола Ларіонов, виграв першість дублюючих складів сезону-2009. У грудні 2009 року Давидова змінив Лучано Спаллетті, а сам він повернувся на пост головного тренера молодіжного складу.
6 червня 2013 року підтвердив, що буде працювати з «Томмю», яка за підсумками сезону вийшла в Прем'єр-лігу[9] багато в чому завдяки Сергію Передні, контракт з яким так і не був продовжений. Після п'яти поразок у п'яти матчах на старті сезону томські вболівальники почали вимагати у президента клубу Сергія Жвачкіна відставки головного тренера. Після домашньої нічиєї 15 вересня 2013 року з «Анжі» Давидов подав у відставку[10].
У 2017 році був головним тренером «Зеніту-2». Пішов у зв'язку з переходом на посаду директора академії[11].
