Aussac liegt in der Landschaft Gaillacois, etwa 57 Kilometer nordöstlich von Toulouse und etwa elf Kilometer westsüdwestlich von Albi. Umgeben wird Aussac von den Nachbargemeinden Florentin im Norden, Rouffiac im Osten und Nordosten, Fénols im Süden und Osten sowie Cadalen im Westen.