Laboutarie liegt etwa 19 Kilometer südsüdwestlich von Albi am Assou, der hier in den Dadou mündet, der zugleich die südliche Gemeindegrenze bildet. Umgeben wird Laboutarie von den Nachbargemeinden Sieurac im Norden und Nordwesten, Lombers im Norden und Osten, Saint-Genest-de-Contest im Süden und Südosten sowie Montdragon im Süden und Westen.