Ellefson je počeo svirati bas-gitaru zbog njene prisutnosti u rock glazbi. Vještinu pisanja pjesama stekao je u brojnim sastavima koje je vodio prije Megadetha.
Megadeth (1983. - 2002., 2010. - 2021.)
Osim pjevača, gitarista i glavnog tekstopisca Davea Mustainea, Ellefson je jedini stalni član Megadetha od njegova nastanka 1983. do raspada 2002. . Da bi se dva Davea razlikovala, Mustaine je Ellefsona često nazivao Dave Junior,
ili, skraćeno, Junior. Ellefson je svirao na svakom albumu i turneji od 1985. i albuma
Killing Is My Business... And Business Is Good! do 2002. i albuma Rude Awakening.
Ellefson je na početku svirao prstima, ali je kasnije, kako je Megadeth napredovao u
glazbi koja je postajala složenija, počeo koristiti trzalicu. Također je
sudjelovao u pisanju brojnih pjesama.
Megadeth se raspao 2002. Dave Mustaine ga je ponovno okupio 2004., ali bez Ellefsona, a
izbila je velika svađa. 8. veljače 2010. Ellefson je primio poruku od sadašnjeg bubnjara
Megadetha, Shawna Drovera, u kojoj je pisalo da nazove Mustainea. To je i
učinio te su njih dvojica sve izgladili i shvatili da im nedostaje njihovo prijateljstvo.
Nakon toga poziva objavljeno je da se Ellefson vraća u sastav. Na prvoj zajedničkoj probi
izjavio je da se "osjeća kao da nikada nije otišao". Onda je 24. maja 2021. godine napustio bend.
Svada s Mustaineom
2004. Mustaine je ponovno okupio Megadeth radi snimanja albuma The System Has Failed.
Ellefson i Mustaine su imali nekoliko nesuglasica oko honorara i prava na Megadethovo ime i
opus, što je rezultiralo neuspješnom Ellefsonovom tužbom. Iako su nekada bili veliki
prijatelji, njihovo je sadašnje neprijateljstvo toliko naraslo da Megadeth nije bio spomenut
u Ellefsonovoj biografiji na njegovoj internetskoj stranici, samo u diskografiji.
Tijekom gostovanja na radiju sredinom 2005. Ellefson se nije spominjao svoju prošlost s
Megadethom, već se je koncentrirao na svoje tadašnje projekte.
Za Božić te godine Mustaine
je izjavio da je na večeri s Ellefsonom razgovarao o njihovim problemima, te da ih je to
dovelo u dobr odnose i da su poslije toga mnogo puta pričali na telefon. 2021 ova svađa se nastavlja.
Nakon Megadetha (2003. - 2010.)
Nakon raspada Megadetha 2002., Ellefson je osnovao sastav F5, čiji je prvi album, The Drug for All Seasons izdan 2005., a 2006. su svirali na Disturbedovoj turneji. Također je neko vrijeme svirao u power metal sastavu Avian.
Religija
Ellefson je, kao i Mustaine, kršćanin. Izjavio je da se je 90 - ih, nakon što se riješio droge, vratio Bogu.