Le club est né en 1991 de la fusion entre le Stade Athlétique Fontenaisien et l'Étoile.
Ascenseur entre D4 et D5 (1991-2007)
Le VFF a longtemps bataillé en CFA avant d'être rétrogradé en CFA 2 en 2005 pour des raisons extra-sportives[1]. À la fin de la saison 2006-2007 le club termine premier de son groupe de CFA 2, ce qui lui permet un retour en CFA (groupe D).
Stabilisation au niveau CFA (2007-2015)
Cette section est vide, insuffisamment détaillée ou incomplète. Votre aide est la bienvenue ! Comment faire ?
Antony Gauvin, ancien joueur professionnel passé, entre autres, par le FC Lorient et reconverti comme entraîneur assure le maintien de son équipe au 4e échelon de son équipe entre 2008 et 2018.
En 1906, la famille Baron-Latouche cède à Emmanuel Murzeau 2,36 hectares de prairies en contrebas du château de Terre-Neuve à proximité de la rivière Vendée. voit la création de la Vigilante, société de gymnastique, de tir et d’instruction militaire la Vigilante. Rapidement, cette association met en place un patronage afin de proposer aux jeunes gens des activités sportives (dont le football) pratiquées sur le stade alors nommé "Dieu-Patrie". En , Emmanuel Murzeau transmet ses biens à cette l'Amicale Artistique et Sportive Fontenaisienne (AASF), association nouvellement créée qui devient propriétaire de l’équipement[5].
À partir de 1974, la Ville obtient le droit d'utiliser le terrain à condition de veiller à son entretien. Celui-ci devient alors le terrain officiel du club de football, l’Étoile fontenaisienne et vibre au rythme des derby avec le SA Fontenay. La rivalité prend fin le lorsque l’Étoile fusionne avec le Stade Athlétique Fontenaisien pour donner naissance au Fontenay Foot Vendée (FFV). Cependant en 1998 le contrat de location n’est pas prolongé et le stade demeure inutilisé pendant une dizaine d’années. Il sert seulement à la pratique de l'EPS des élèves du collège Saint-Joseph et du lycée Notre-Dame[5].
Néanmoins en 2008 une convention provisoire est signée entre la Ville et l’association propriétaire, l’Amicale Artistique et Sportive Fontenaisienne (AASF) puis le de l'année suivante un bail emphytéotique de 30 ans est conclu entre les deux entités avec la promesse que le complexe revienne pour de bon à la Ville au terme du bail. La Ville entame donc des travaux en afin de rendre le stade conforme aux normes en vigueur. Le montant final facturé représente 875 000 €. Le stade comporte désormais 3 tribunes d'une capacité totale de 500 place (contre 1 tribune de 250 place précédemment) tandis que 4 pylônes sont érigés pour permettre l'éclairage nocturne de la pelouse intégralement refaite[5]. C'est ainsi que le 27 aout 2011 se tient le 1er match officiel dans le stade flambant neuf (3e journée de CFA), perdu 2-1 face aux voisin herbretais devant une assemblée de 1187 personnes[6].