Castanet liegt etwa 39 Kilometer nordöstlich vom Stadtzentrum von Montauban. Umgeben wird Castanet von den Nachbargemeinden Vailhourles im Norden, La Rouquette im Nordosten, Monteils im Osten, Najac im Süden und Südosten, Ginals im Süden und Südwesten sowie Parisot im Westen. Im Südwesten verläuft das Flüsschen Baye, das zum Aveyron entwässert.