In 1862 ontmoette hij Jeanne de Tourbey. Hij werd al gauw verliefd op haar en ze verloofden zich. Na de dood van Baroche in 1870 erfde de Tourbey de enorme soms van 800.000 goudfranken, een equivalent van 2.400.000 euro. Dit stelde haar in staat toe te treden tot de bovenklasse. Ze huwde met graaf Victor Edgard de Loynes, waardoor ze de titel gravin verwierf.
Na de Franse nederlaag in Slag bij Sedan (1 september 1870) en de afkondiging van de Derde Franse Republiek (4 september 1870) vluchtte Baroche's vader Pierre Jules Baroche naar Groot-Brittannië en vervolgens naar Jersey, waar hij zou overlijden op 29 oktober 1870. Ernest Baroche vervoegde ondertussen de Garde nationale mobile, een onderdeel van de Nationale Garde. Hij werd er commandant. Op 30 oktober 1870, in volle Frans-Duitse Oorlog, geraakte hij echter gewond aan het oog door een kiezelsteen. Hij weigerde echter om dit te laten verzorgen en streed verder. In de Rue des Flandres in Le Bourget werd hij vervolgens dodelijk getroffen door een kogel, recht door het hart. Hij overleed een dag na zijn vader.