En 1947, à la suite d'une tuberculose osseuse, André Villers est hospitalisé au sanatorium de Vallauris où il séjourne pendant huit ans.
Au cours de cette période, Pierre Astoux, instituteur au sanatorium, l'initie à la photographie ; André Villers commence à faire en 1952 ses premières expérimentations ainsi que des clichés de Vallauris et ses habitants.
En mars 1953, il rencontre ainsi Pablo Picasso qui le prend en sympathie et lui offre son premier appareil photo Rolleiflex. Il réalisera de très nombreux portraits du peintre, et leur relation évoluera même sur la réalisation d'une œuvre en commun à quatre mains de centaines d'images fondées sur l'expérimentation photographique dont 30 images seront retenues pour être publiées sous le titre Diurnes (Paris, Berggruen, 1962) accompagnées d'un texte original de Jacques Prévert.
En 1970, il commence à expérimenter une nouvelle façon de faire de la photographie en créant lui-même ses négatifs à partir de morceaux de papiers calques. La série sera exposée et un livre sortira accompagné d'un texte de Michel Butor, Pliages d'Ombres. Depuis, dans son œuvre photographique personnelle fondée sur la recherche de l'ombre et de la transparence, il a cherché à exploiter de multiples possibilités d'émulsions (solarisations, jets de révélateur...).
Parallèlement à son travail de portraitiste, au milieu des années 1950, il commence à réaliser une série de découpages intitulés Ex-Photos qui sera exposée en 1970 Galerie Loeb à Paris. Il continuera son œuvre plastique par des séries de pastels, puis, dans les années 1980, par une série importante de cartons peints "Les Photographes", exposés à Paris, Tokyo et New York par la Galerie Yoshii. Son ami David Douglas Duncan leur consacrera un livre intitulé Un Jardin Secret.
Depuis les années 2000, il réalise une série de papiers découpés.
Dans les années 1980, Karel Appel réalise une importante série de peintures sur les photos de Villers. Plus tard, Robert Combas collaborera aussi avec lui.
En 1984 il publie son texte Photobiographie relatant sa vie, sa démarche artistique et sa relation avec Picasso dans un numéro hors-série de Les Cahiers du Sud qui lui est consacré.