Né dans le village Chemonaïkha (actuellement dans le Kazakhstan-Oriental), dans une famille paysanne, Anatoli Ivanov fait ses études en 1946-1950 à la faculté de journalistes de l'Université nationale kazakhe Al-Farabi. Il commence sa carrière en 1948 dans le journal Priirtychskaïa pravda publié à Semey. Après son service militaire il devient rédacteur du journal Leninskoïe znamia de l'oblast de Novossibirsk. Membre du PCUS depuis 1952.
En 1954, la revue Krestianka publie son récit La Pluie. Ensuite dans la revue littéraire Sibirskie ogni parait le récit Les Chansons d'Alka dont le titre sera repris pour le recueil de nouvelles d'Ivanov en 1956.
Son premier roman Povitel (1958) raconte la vie d'un village sibérien chamboulée par les événements de la révolution russe. La révolution, la collectivisation en Union soviétique et la Seconde Guerre mondiale sont ses sujets de prédilection. Ivanov est principalement connu pour ses romans Les ombres disparaissent à midi (adapté en série télévisée en 1970) et L'Appel éternel.