Kraj leži v Jurskem pogorju ob meji s Švico, 65 km jugovzhodno od Lons-le-Sauniera. Skozi njegovo središče poteka razvodje med rekama Rono in Renom. Padavine vzhodno od kraja se stekajo v bližnje jezero Lac des Rousses, iz katerega teče reka Orbe (Thielle), pritok Aare, Rena, zahodno od kraja se stekajo k reki Bienne, pritoku Aina, Rone.
Les Rousses je središče la Station des Rousses, obsežnega zimskošportnega središča, ki poleg njegovega pokriva tudi ozemlje sosednjih krajev Bois-d'Amont, Lamoura in Prémanon z urejenimi smučarskimi progami, delno tudi v sosednjem departmaju Ain (Le Tabagnoz) in Švici (La Dôle).
