У 1971 році закінчив Московський вечірній верстатобудівний технікум при заводі «Червоний пролетар».
Указом Президії Верховної Ради СРСР від 3 березня 1976 року за великий вклад в підвищення ефективності виробництва і якості продукції, що випускається, видатні трудові успіхи, досягнуті у виконанні завдань дев'ятого п'ятирічного плану і соціалістичних зобов'язань, Рибакову Анатолію Яковичу присвоєно звання Героя Соціалістичної Праці з врученням ордена Леніна і золотої медалі «Серп і Молот».
У лютому 1977—1991 роках — голова Центрального комітету профспілки робітників машинобудування і приладобудування.
