Ernst von Voss blev født i Aalborg 1826 som søn af major Gustav Wilhelm Heinrich von Voss. Som søn af en højborgerlig familie kom Ernst på latinskolen. Efter endt skolegang fik han en landbrugsuddannelse og blot 19 år gammel overtog han gården Jomfrubakken ved Mariager. Han meldte sig som frivillig i Treårskrigen og deltog i slaget ved Slesvig i 1848. Han sad en kort stund som krigsfange, inden han blev løsladt igen, og ved hærskuet, som Frederik 7. holdt på Lerbæk mark, modtog han Dannebrogsmændenes Hæderstegn.
Han ægtede i 1856 Hedvig Mathilde Grotum Sørensen, der var præstedatter fra Thy. Ved krigsudbruddet1864 boede familien Voss i Flensborg. Han var kompagnichef og rykkede med sin styrke ind i Dannevirkestillingen, hvorfra han deltog i det ydygende tilbagetog fra Dannevirke i februar 1864. Tilbagetoget endte i Fredericia, hvor han opholdt sig da
preusserne bombarderede byen.
Allerede i 1867 havde Ernst von Voss købt en villa i Fredericia, og her syslede han, assisteret af sin oppasser, i fritiden med at lave tøjklemmer – de såkaldte "amerikanske gyngestole" – samt galanteriartikler af messing og zink. Den 10. november1878 stiftede han virksomheden Ernst Voss' Fabrik i Fredericia. I starten foregik produktionen under små forhold. Der var kun én kunde – en købmand – men efter 5 år tog man dampkraft til hjælp og efter 10 år beskæftigede Voss 50 ansatte i metalstøberiet. Sortimentet bestod først af lamper og galanterivarer, men blev hurtigt udvidet til også at omfatte askebægre, lysestager, brevpressere og mange andre messing- og bronzegenstande. I 1897 blev firmaet aktieselskab. Sønnen Ditlev von Voss førte virksomheden videre. I 1908 blev det første gaskomfur således produceret af Voss og siden fortsatte udviklingen.
Ernst von Voss var også engageret i Fredericias politiske liv. Han sad 18 år i Fredericia Byråd, hvor særligt forbedring af sundhedstilstanden samt vilkårene for fattige og for børn lå ham på sinde. Han indtog en absolut førerstilling i Rådet og var meget anset, såvel af sine tilhængere som af sine modstandere og tog han til orde for eller imod en bestemt sag var han vis på at blive hørt med interesse og opmærksomhed. Fra 1882 til 1900 var han formand for byens fattigbestyrelse. I øvrigt var han medlem af Legatudvalget, Offeransættelsesudvalget, Tilsynet med Plejebørn, Sundhedskommissionen, Skolekommissionen, Svendeprøvekommissionen, Overligningskommissionen, Rådhusbestyrelsen m. m. Sammen med byens øvrige fabrikanter oprettede han en husholdningsskole for unge piger. Han var medstifter af og formand for Fredericia Telefonselskab og stifter af Vejle Amts Skytteforening.
