La Vergne liegt etwa 55 Kilometer ostsüdöstlich von La Rochelle in der Saintonge am Fluss Boutonne. Umgeben wird La Vergne von den Nachbargemeinden Essouvert im Norden und Osten, Saint-Jean-d’Angély im Osten und Südosten, Ternant im Süden, Voissay im Südwesten, Torxé im Westen sowie Landes im Nordwesten.