Andreï Khrouliov est né dans le village de Bolshaya Aleksandrovka. Il est le fils de Vassili Vassilievitch Khrouliov, un forgeron gréviste, et de Maria Ivanovna, une paysanne. Il fait son apprentissage chez un orfèvre de 1903 à 1912. À un moment donné, il devient révolutionnaire, pour lequel il s'exile en Estonie de 1912 à 1914[1].
Après la guerre, il continue son service militaire et commence à développer un système logistique plus sophistiqué pour l'Armée rouge, qui deviendra l'arrière des forces armées russes. Khrouliov a été chef de la direction de l'intendant principal de l'Armée rouge (1939-1941), chef adjoint du commissaire du peuple à la défense de l'URSS et chef de la direction principale des services arrière de l'Armée rouge (à partir de 1941)[1]. De 1942 à 1943, il a occupé le poste de Commissariat du peuple aux chemins de fer.