В 1862 году влюбился в парижскую куртизанкуЖанну де Турбе, и до своей смерти в 1870 году содержал её, оставив состояние в 800 тысяч франков золотом (эквивалент 2,4 млн евро), что открыло де Турбе доступ к высшему обществу, позволило стать из дамы полусвета — «светской львицей» и вступить в брак с графом Виктором Эдгаром де Луаном. Барош дрался на дуэли с журналистом и политиком Анри Рошфором.
После сентябрьской революции, свергнувшей Наполеона III, его отец бежал в Англию, а затем на остров Джерси. Эрнест Барош вступил в ряды Мобильной национальной гвардии (фр. Garde nationale mobile). Служил командиром батальона.
Во время Франко-прусской войны 30 октября 1870 года в битве при Ле-Бурже был ранен в глаз камнем от взрыва, но отказался покинуть поле боя, перевязав голову, продолжил участвовать в сражении и был убит выстрелом в сердце.
Вместе с Фредериком Анке и Эдмоном Дюпоншелем является автором эротического романа «Школа козочек, или Нравы милых дам нашего времени» (фр.L'École des biches ou Mœurs des petites dames de ce temps), опубликованного анонимно в 1860—1870 гг. Написал также эротический рассказ "Осторожно, мгновенная дефлорация" (фр.Attention, dépucelage immédiat).
