Cambounet-sur-le-Sor liegt etwa 42 Kilometer ostsüdöstlich von Toulouse und etwa zehn Kilometer westsüdwestlich von Castres. Der Sor begrenzt die Gemeinde im äußersten Osten. Umgeben wird Cambounet-sur-le-Sor von den Nachbargemeinden Sémalens im Norden, Saïx im Osten, Viviers-lès-Montagnes im Südosten, Soual im Süden sowie Saint-Germain-des-Prés im Westen.