Chamoux liegt etwa 38 Kilometer südsüdöstlich von Auxerre und etwa 19 Kilometer westsüdwestlich von Avallon. Die Gemeinde befindet sich im Süden des Départements an der Grenze zum benachbarten Département Nièvre. Der Ruisseau de Chamoux, ein Nebenfluss der Yonne, entspringt in der Nähe des Zentrums der Gemeinde. Über die Hälfte der Fläche der Gemeinde ist mit Wald bedeckt.
Umgeben wird Chamoux von den Nachbargemeinden Asnières-sous-Bois im Norden und Westen, Vézelay im Osten und Nordosten, La Maison-Dieu (Nièvre) im Süden und Südosten sowie Brèves (Nièvre) im Süden und Südwesten.
