Завършва средно образование във Воронежкото специално ВВС училище (1947) и Чугуевското военноавиационно училище с квалификация „Военен пилот“ (1950).
След това служи в авиочастите на ВВС на СССР. Започва служба като старши пилот, след това командир на звено, заместник-командир на ескадрила; получава квалификация „Военен летец 1-ви клас“. През 1961 г. завършва Военновъздушната академия „Ю. Гагарин“. Служи като старши инструктор в Одеския и Ленинградския военни окръзи (1950 – 1963).
През 1963 г. е зачислен в отряда на космонавтите и минава пълния курс по общокосмическа подготовка, а също така и подготовка за полети с космически кораби от серията „Союз“. През 1969 г. е дубльор на Борис Волинов преди неговия полет на „Союз 5“.
Първия си полет Анатолий Филипченко извършва от 12 до 17 октомври 1969 г. с космическия кораб „Союз 7“, заедно с Владислав Волков и Виктор Горбатко. В програмата на полета влиза скачване с космическия кораб „Союз 8“, която не се осъществява заради техническа повреда. Общата продължителност на полета е 4 денонощия 22 часа 40 минути и 23 секунди.
През 1973 г. е назначен за командир на екипажа, провеждащ подготовка за съвместния съветско-американски космически полет (ЕПАС).
Втория си полет извършва от 2 до 8 декември1974 г. с космическия кораб „Союз 16“ заедно с Николай Рукавишников. Полетът протича в рамките на подготовката за проекта ЕПАС, а по време на полета са отработени кораба и скачващия възел. Общата продължителност на полета била 5 денонощия 22 часа 23 минути и 35 секунди.
От 1978 до 1988 г. работи като ръководител в Центъра за подготовка на космонавти. От 1989 до 1992 г. работи като заместник-директор на Харковското конструкторско бюро по средства за техническо обучение и директор на Московския му филиал.