Le , il est affecté à la Légion étrangère. Il y restera jusqu'en 1965. Affecté comme chef de section au 1er régiment étranger d'infanterie, il sert successivement à la compagnie d'instruction d'engins et des transmissions, à la compagnie pionniers, puis à la 3e compagnie. En juillet 1941, il part renforcer les unités en Syrie, mais la fin des combats l'oblige à faire demi-tour pour retourner en Algérie.
Le , il embarque à destination du Sénégal où il rejoint la compagnie régimentaire de la 4e Demi-brigade de Légion étrangère (DBLE) en qualité de chef de la section des transmissions. Le , il est promu capitaine.
Le , le capitaine Le Vert prend le commandement de la 10e compagnie. En septembre 1944, le régiment débarque en Provence. Au cours des combats menés par le RMLE pour la libération de la France, André Le Vert est blessé le devant Belfort et gagne sa première citation. Il participe ensuite à la campagne d'Allemagne jusqu'à la victoire.
Le RMLE, devenu 3e REI, débarque en Extrême-Orient à la fin de la guerre en Europe. Le André Le Vert est décoré à deux reprises sur le théâtre.
Diplômé de l'École supérieure de guerre, il est promu au garde de chef de bataillon en avril 1952, au cours d'un deuxième séjour en Indochine. Il prend alors le commandement du 5ebataillon du 3e REI avant d'occuper les fonctions de chef d'état-major du régiment. À la fin de son séjour en Asie, il retrouve l'Europe où il est affecté à l'état-major des Forces françaises en Allemagne.
En 1957, affecté au 110e RI, il retrouve l'Algérie et est promu au grade de lieutenant-colonel. Commandant en second du régiment, il est de nouveau décoré pour ses actions au feu.
Après deux années comme instructeur à l'école de guerre, il retrouve la Légion en 1962. Commandant en second du 1er REI, il commande le détachement précurseur qui prend possession du camp de la Demande à Aubagne lors du déménagement du régiment en métropole.
Promu colonel le , il prend le commandement du 2e REI en juillet de la même année. Le régiment est à cette époque chargé de la surveillance des sites sensibles situés dans les Territoires du Sud en Algérie. À l'issue de son commandement, André Le Vert est affecté à l'état-major de la subdivision militaire de l'Aisne.
En 1971, il est admis en 2e section des officiers généraux.
